A Protocol for Evaluating the Accessibility of AI-Generated Educational Materials: Prompt Configuration, WCAG-Derived Criteria, and Content Overload

인터넷을 거대하고 북적이는 도서관이라고 상상해 보세요. 수십 년 동안 사서들은 휠체어 사용자, 스크린 리더 사용자, 혹은 복잡한 텍스트를 이해하는 데 어려움을 겪는 사람들을 포함하여 모든 사람이 모든 선반, 표지판, 이야기를 이용할 수 있도록 WCAG(웹 콘텐츠 접근성 지침)라는 엄격한 규칙을 준수해 왔습니다. 이 규칙 책은 만약 당신이 그림을 볼 수 없다면 로봇 목소리가 그것을 설명해 주고, 마우스를 사용할 수 없다면 키보드로 여전히 버튼을 클릭할 수 있게 보장합니다. 이것은 넓은 통로가 있는 도서관과 책이 유리문 뒤에 잠겨 있는 도서관의 차이와 같습니다.

이제, 초고속 로봇 사서가 도착했다고 상상해 보세요. 생성형 AI로 구동되는 이 로봇은 당신이 정중하게 요청하기만 하면 몇 초 만에 책을 쓰고, 지도를 그리거나, 이야기를 녹음할 수 있습니다. 이 로봇은 매우 빠르며 몇 분 만에 한 팀 전체의 일을 해낼 수 있습니다. 하지만 여기 함정이 있습니다. 이 로봇은 예전 도서관(인터넷)에서 읽는 법을 배웠기 때문에, 예전 도서관에 많은 잠긴 문과 누락된 표지판이 있었다면, 로봇 또한 똑같이 잠긴 문과 누락된 표지판이 있는 새로운 책을 만드는 경향이 있습니다. 당신이 명시적으로 "이봐, 모두에게 열려 있도록 만들어 줘!"라고 말하지 않는 한, 로봇은 포용적이어 이 되는 법을 모릅니다. 이 논문은 단순하지만 긴급한 질문을 던집니다. 만약 우리가 이 로봇에게 올바른 규칙을 가르친다면, 이 로봇이 갑자기 세상에서 가장 도움이 되는 사서가 될 수 있을까요, 아니면 우리가 무엇을 말하든 상관없이 계속 벽을 쌓게 될까요?

로봇 사서의 큰 시험

이 논문은 저자인 헥터(Hector)가 AI 로보트들이 장애가 있는 사람들에게 실제로 접근 가능한 교육 자료(PDF 보고서, 슬라이드 덱, 인포그래픽, 오디오 클립, 비디오 등)를 얼마나 잘 구축하는지 테스트하기 위해 거대한 실험을 설정한 일종의 탐정 이야기와 같습니다.

설정: 로봇과 대화하는 세 가지 방법
헥터는 어떤 방식이 가장 효과적인지 알아보기 위해 세 가지 "페르소나" 또는 지침에 따라 로봇을 테스트하기로 했습니다.

1. "그냥 해" 프롬프트 (조건 A): 이것은 오늘날 대부분의 사람들이 하는 방식입니다. 당신은 로봇에게 추가적인 지침 없이 "공룡에 관한 슬라이드 덱을 만들어 줘"라고 요청합니다. 이는 일상적이고 캐주얼한 요청입니다.
2. "엄격한 선생님" 프롬프트 (조건 B): 여기서는 사용자가 WCAG 규칙 책에 기반한 상세한 규칙 목록을 로봇에게 제공합니다. 그들은 "슬라이드 덱을 만들되, 모든 사진에 대한 설명을 포함하고, 텍스트의 대비를 높게 유지하며, 키보드로 모든 버튼을 클릭할 수 있도록 해줘"라고 말합니다.
3. "영구적 기술" (조건 C): 이것은 "성배"와 같은 아이디어입니다. 매번 긴 규칙 목록을 입력하는 대신, 로봇의 뇌에 한 번 "기술"이나 영구적인 프로필을 로드합니다. 그 후부터 당신이 무엇을 요청하든, 로봇은 마치 요리사가 매번 물어보지 않아도 항상 소금을 넣는 것을 기억하듯 자동으로 접근성을 기억하게 됩니다.

결과: 로봇에게는 자극이 필요하다
결과는 "어라"와 "와우"가 섞여 있었습니다.

로봇이 스스로 하게 내버려 두었을 때 (조건 A), 접근성 측면에서는 재앙이었습니다. 자료가 규칙을 얼마나 잘 따랐는지에 대한 평균 점수는 처참한 **24.2%**였습니다.

• 문서: 로봇은 눈에는 멋져 보이지만 스크린 리더에게는 엉망인 PDF를 만들었습니다. 헤딩(제목)을 표시하거나 차트를 설명하는 것을 잊어버려서, 시각 장애 사용자는 맥락 없는 숫자의 나열만을 듣게 됩니다.
• 슬라이드: 로봇은 화려한 슬라이드를 만들었지만, 키보드로 도달할 수 없는 클릭 가능한 버튼들을 포함했습니다. 이는 마치 마법 지팡이(마우스)가 있어야만 열리는 문을 만드는 것과 같아서, 키보드를 사용하는 사람들을 소외시켰습니다.
• 비디오: 가장 심각한 위반 사례였으며, 점수는 **0%**였습니다. 로봇은 자동 생성된 자막이 종종 틀린 영상을 만들었고, 시각 장애인을 위해 화면에서 일어나는 일을 설명하는 것을 잊었습니다. 심지어 AI 아바타의 입 모양이 단어와 일치하지 않는 "립싱크" 문제까지 발생시켜, 입 모양을 읽는 데 의존하는 사람들을 혼란스럽게 했습니다.

"엄격한 선생님"의 마법
하지만 헥터가 조건 B를 시도했을 때, 결과는 놀라웠습니다. 접근성 규칙을 따르도록 구체적이고 상세한 지침을 주자, 점수가 급등하여 평균 **96.7%**에 도달했습니다.

• PDF에는 적절한 태그와 설명이 포함되었습니다.
• 슬라이드는 키보드로 탐색이 가능해졌습니다.
• 비디오에는 정확한 자막과 오디오 설명이 들어갔습니다.

이는 로봇이 접근 불가능한 것이 아니라, 단지 어떻게 해야 하는지 구체적으로 말해주지 않으면 모를 뿐이라는 것을 증명합니다. 논문은 장벽이 기술 자체가 아니라, 우리가 로봇과 대화하는 방식에 있다고 시사합니다.

숨겨진 함정: 정보 과부하
표준 규칙 책이 완전히 다루지 못한 까다로운 부분이 하나 더 있었습니다. 바로 정보 과부하입니다.
헥터는 특히 긴 텍스트를 하나의 예쁜 그림으로 요약하는 AI 도구들(인포그래픽 등)이 너무 많은 정보를 좁은 공간에 밀어 넣는 경향이 있다는 것을 발견했습니다. 설령 로봇이 모든 기술적 규칙(이미지에 대한 설명 등)을 따랐더라도, 그림 자체가 너무 조밀하고 복잡해서 시각 장애 여부와 상관없이 누구도 빠르게 이해할 수 없었습니다. 이는 마치 표지판에 모든 거리 이름을 아주 작은 글씨로 써 놓은 것과 같습니다. 기술적으로는 정보가 존재하지만, 너무 혼란스러워서 쓸모가 없는 상태입니다. 이 논문은 표준 체크리스트를 넘어 이러한 "시각적 혼잡도"를 측정하는 새로운 방법이 필요하다고 제안합니다.

"영구적 기술"은 어떨까?
논문은 매번 이 규칙들을 타이핑하는 대신, 로봇이 다시는 이 규칙들을 잊지 않도록 하는 방법으로 "영구적 기술" (조건 C)을 제안했습니다. 그러나 이 특정 테스트는 이번 첫 번째 실험에서 완전히 실행되지 않았습니다. 저자는 이것이 로봇의 일관성을 유지하기 위한 가장 좋은 장기적 해결책이라고 제안하며, 이를 확신하기 위해 더 많은 테스트가 필요하다고 말합니다.

핵째 결론
이 논문은 AI가 접근성 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 현재 AI는 기본적으로 벽을 쌓는 경향이 있다는 것을 보여줍니다. 하지만 우리가 명확하고 구체적인 지침을 주거나(또는 "기술"을 로드한다면), AI는 모두를 위한 경사로와 문을 만들 수 있습니다. 로봇은 강력한 도구이지만, 누군가를 뒤처지게 하지 않기 위해서는 인간의 안내가 필요합니다. 논문은 우리가 AI를 통해 교육을 가속화하는 과정에서 장애가 있는 학생들을 실수로 낙오시키지 않도록, 자신의 AI 도구를 점검하기 위한 이 새로운 "테스트 프로토콜"을 모두가 사용하도록 권하며 끝을 맺습니다.