The Evaluation–Action Gap in Digital Accessibility Research: A Systematic Review of Automation Bias, Sectoral Concentration, and User Exclusion

핵심 요약: 진단만 하고 치료는 하지 않는 의사

10년 동안 특정 질병을 연구하는 의료 연구팀을 상상해 보십시오. 그들은 수백 편의 논문을 쓰고, 수천 번의 X-레이를 찍고, 끝없는 혈액 검사를 수행합니다. 그들은 질병을 찾아내는 데 매우 뛰어납니다. 그들은 문제가 정확히 어디에 있는지, 그리고 그것이 얼마나 심각한지를 정확히 말해줄 수 있습니다.

하지만 여기 함정이 있습니다. 그들은 실제로 환자를 치료하지 않습니다.

이 논문은 웹 접근성(장애인을 위해 웹사이트를 사용 가능하게 만드는 것)의 세계에서 이와 같은 일이 일어나고 있다고 말합니다. 연구 커뮤니티가 "치료"로 나아가지 못한 채 "진단"의 굴레에 갇혀 있다는 것입니다.

연구 내용: 건강 검진 횟수 세기

저자인 이브라힘 에마라(Ibrahim Emara)는 2014년부터 2025년 사이에 발표된 104개의 서로 다른 연구를 살펴보았습니다. 그는 마치 거대한 보고서 더미를 정리하는 사서처럼, 사람들이 무엇을 하고 있는지 확인했습니다. 그는 다음과 같은 질문을 던졌습니다. 우리는 실제로 시각 장애인과 장애인을 위해 인터넷을 더 좋게 만들고 있는가, 아니면 그저 웹사이트가 얼마나 망가져 있는지에 대한 보고서만 더 많이 쓰고 있는가?

발견된 세 가지 주요 문제점

1. "로봇 검사관" 문제 (자동화 편향)

비유: 휠체어 사용자가 집을 통과하기에 안전한지 확인하려고 한다고 가정해 봅시다. 휠체어 사용자에게 문을 통과해 보라고 요청하는 대신, 문틀의 너비가 30인치인지 확인하는 로봇을 보냅니다. 로봇은 너비가 맞기 때문에 "합격!"이라고 외치지만, 바닥이 미끄럽다거나, 손잡이가 너무 높다거나, 혹은 길목이 카펫에 의해 막혀 있다는 사실은 놓칩니다.

연구 결과: 연구의 거의 **50%**가 자동화된 컴퓨터 도구(WAVE, TAW, AChecker 등)를 사용하여 웹사이트를 테스트했습니다. 이러한 도구는 빠르고 쉽지만, 앞서 말한 로봇 검사관과 같습니다. 이들은 단순하고 기술적인 오류만을 찾아낼 수 있습니다.

• 결과: 이들은 사이트를 사용하는 실제 인간의 경험을 놓칩니다.
• 격차: 실제 장애인을 테스트 과정에 참여시킨 연구는 단 **10%**에 불과했습니다.

2. "학교와 정부"라는 거품 (부문 집중 현도)

비유: 소방 안전 검사관이 오직 학교와 정부 건물만 점검한다고 상상해 보십시오. 수백만 명의 사람들이 매일 음식을 먹고, 영화를 보고, 쇼핑을 하는 식당, 영화관, 쇼핑몰은 전혀 점검하지 않습니다.

연구 결과: 연구는 **교육(41%)**과 정부(25%) 웹사이트에 과도하게 집중되어 있습니다.

• 격차: 상업용 웹사이트(온라인 쇼в, 뱅킹, 엔터테인먼트 등)는 크게 무시되고 있습니다. 하지만 이곳들은 장애인들이 다른 사람들과 마찬가지로 일상생활에 참여하기 위해 반드시 필요한 곳들입니다.

3. "고장 난 레코드" (평가-실행의 격차)

비유: 자동차 타이어가 펑크 났다고 계속 보고서를 쓰는 정비사를 상상해 보십시오. 그는 2015년에 이 보고서를 썼고, 2018년에 또 썼으며, 2024년에도 다시 썼습니다. 보고서는 완벽하지만, 타이어는 여전히 펑크 난 상태입니다. 정비사는 문제를 찾는 데는 뛰어나지만, 그것을 고치는 데는 형편없습니다.

연구 결과: 연구의 수가 급증했음에도 불구하고(특히 2020년 이후), 동일한 문제들이 계속 나타나고 있습니다.

• 이미지에 대한 텍스트 설명 누락 (79%의 연구에서 발견).
• 나쁜 색상 대비 (53%의 연구에서 발견).
• 망가진 웹사이트 구조 (53%의 연구에서 발견).

이 논문은 우리가 **"진단 루프(Diagnostic Loop)"**에 갇혀 있다고 주장합니다. 우리는 고치거나 웹사이트를 구축하는 방식을 바꾸는 대신, 똑같이 망가진 것들을 계속해서 기록만 하고 있습니다.

왜 이런 일이 발생하는가?

저자는 이것이 편의성 때문이라고 제안합니다.

• 로봇은 쉽습니다: 실제 장애인을 모집하고, 일정을 잡고, 함께 작업하는 것보다 컴퓨터 스크립트를 실행하는 것이 연구자에게 훨씬 빠르고 저렴합니다.
• 학교는 쉽습니다: 대학 연구자들이 민간 은행이나 글로벌 이커머스 사이트를 테스트하는 것보다 자기 대학교의 웹사이트를 테스트하는 것이 훨씬 쉽습니다.

연구는 종종 논문을 빠르게 발표해야 하는 필요성에 의해 추진되기 때문에, 연구자들은 "어려운" 길(실제 사용자 및 복잡한 산업)보다는 "쉬운" 길(로봇 및 학교)을 선택합니다.

결론: 새로운 접근 방식이 필요하다

이 논문은 이 분야가 **"진단은 풍부하지만 개입은 빈약하다(diagnostically rich but intervention-poor)"**고 결론짓습니다.

• 진단은 풍부함: 무엇이 잘못되었는지 알려주는 데이터의 산더미를 가지고 있습니다.
• 개입은 빈약함: 그것을 어떻게 고칠지, 또는 고침이 필요한 사람들을 어떻게 참여시킬지에 대한 데이터는 거의 없습니다.

행동 촉구:
이를 해결하기 위해 저자는 단순히 로봇으로 "체크박스에 표시"하는 것을 멈춰야 한다고 말합니다. 우리는 다음을 수행해야 합니다:

1. 전문가를 초대하라: 장애인을 단순히 연구 대상이 아니라, 파트너로서 연구 과정에 포함시켜야 합니다.
2. 다른 곳을 보라: 학교뿐만 아니라 사람들이 실제로 쇼핑과 뱅킹을 위해 사용하는 웹사이트를 연구해야 합니다.
3. 해결책에 집중하라: 단순히 "이것이 고장 났다"라고 말하는 것을 넘어, 실제로 해결책을 구축하고 그것이 작동하는지 확인해야 합니다.

요약하자면: 우리는 지난 10년 동안 도로 위의 구멍(포트홀) 사진을 찍는 데에만 시간을 보냈습니다. 이제는 도로를 포장하기 시작해야 할 때입니다.