기술 요약: 웹 접근성을 위한 대규모 언어 모델: 체계적 문헌 고찰

문제 제기

웹 접근성은 웹 전반에 걸쳐 일관성 있게 구현되지 않고 있으며, 종종 확장하기 어려운 빠른 개발 환경에서 전문 지식과 지속적인 유지보수가 필요합니다. 대규모 언어 모델 (LLM) 은 대체 텍스트 생성, 위반 사항 감지, 코드 수정 등 접근성 관련 작업을 지원하는 데 유망한 가능성을 보여주고 있지만, 연구 환경은 단편화되어 있습니다. 기존 연구들은 종종 좁은 문제 설정, 특정 기술, 또는 고립된 평가 기법에 초점을 맞추고 있습니다. furthermore, 접근성은 일관되지 않게 운영화되어 있으며, 다양한 표준과 검증 관행이 존재합니다. 이러한 단편화는 LLM 이 웹 접근성에 어떻게 기여하거나 잠재적으로 훼손하는지에 대한 통합적인 이해를 방해하며, 특히 장애 사용자에게 불균형적으로 해를 끼칠 수 있는 "환각적 준수 (hallucinated compliance)"나 피상적인 수정의 위험과 관련하여 그렇습니다.

방법론

본 연구는 웹 접근성에서 LLM 의 사용에 대한 증거를 종합하기 위해 체계적 문헌 고찰 (SLR) 을 수행했습니다. 검토 과정은 계획, 실행, 종합의 세 단계로 진행되었습니다.

• 검색 전략: 저자들은 "웹 접근성"과 "대규모 언어 모델" (생성형 AI, 기반 모델, 특정 모델 이름 등의 동의어 포함) 에 대한 용어를 결합한 최종 검색 문자열을 사용하여 6 개의 디지털 도서관 (ACM, IEEE Xplore, Web of Science, Scopus, Science Direct, Springer Link) 을 검색했습니다.
• 선정 기준: 포함 기준은 웹 접근성 맥락 내에서 LLM 을 다루는 동료 검토를 거친 영어 출판물을 요구했습니다. 제외 기준은 회색 문헌, 동료 검토를 거치지 않은 작업, 웹 외부의 접근성이나 접근성 초점이 없는 LLM 에 초점을 맞춘 연구를 제거했습니다.
• 필터링 과정: 초기 807 편의 출판물 풀은 중복 제거, 제목/초록 스크리닝, 전체 텍스트 검토를 통해 축소되었습니다. 선택된 연구들에 대해 역방향 및 정방향 스노볼링이 적용되었습니다.
• 최종 데이터셋: 검토는 33 편의 주요 연구로 최종화되었습니다 (초록과 결론에서는 38 편으로 언급되었는데, 이는 텍스트와 도표 간의 계수 불일치로 인한 것으로 보이나, 방법론 섹션에서는 명시적으로 33 편의 주요 연구가 분석의 기초를 형성했다고 명시하고 있습니다).
• 종합: 데이터는 응용 유형, 표준 준수, 기술 아키텍처, 특정 접근성 문제, 평가 방법을 다루는 5 가지 연구 질문 (RQ) 을 기반으로 추출 및 분류되었습니다.

주요 기여

본 논문은 LLM 지원 웹 접근성 연구의 현재 상태를 구조화된 특성으로 제시합니다. 주요 기여는 다음과 같습니다:

1. 체계적 종합: 웹 접근성에서 LLM 응용의 지형을 매핑하는 33 편의 동료 검토 연구에 대한 검토.
2. 기술적 특성 분석: 해당 분야에서 사용되는 지배적인 LLM 모델, 프롬프트 전략 및 시스템 아키텍처에 대한 분석.
3. 표준 및 격차 분석: 접근성 표준 (WCAG, COGA) 과 장애 그룹이 어떻게 다루어지는지 평가하여 중요한 불균형을 강조.
4. 평가 비판: 자동화 도구와 전문가 검토에 대한 의존성이 직접적인 사용자 참여보다 우세함을 지적하는 평가 관행에 대한 종합.
5. 복제 패키지: 향후 설문 조사의 확장을 위한 저자들의 복제 패키지 제공.

주요 결과

1. 응용 유형 (RQ1)

LLM 은 주로 자동화 도구로 적용되며 프롬프트 기반 전략을 통해 사용됩니다 (각각 10 건의 연구에서 보고됨). 이러한 것들은 콘텐츠 생성, 문제 식별 또는 코드 수정을 위한 보조 구성 요소인 경우가 많습니다. 덜 일반적인 응용으로는 브라우저 확장 프로그램 (5 건), 하이브리드 접근법, LLM 에이전트 (각 3 건) 가 있습니다. 독립형 응용 프로그램과 벤치마크는 드뭅니다. 대부분의 응용 프로그램은 장기적인 실제 배포보다는 통제된 작업별 환경에서 평가됩니다.

2. 모델 및 아키텍처 (RQ3)

• 모델: 상업용 범용 LLM 에 강한 집중이 있습니다. GPT-4가 가장 빈번하게 사용된 모델 (18 건) 이며, 그 다음으로 ChatGPT(11 건), Claude(6 건) 순입니다. 비전 - 언어 모델 (예: LLaVA) 과 접근성을 위해 특별히 파인튜닝된 모델은 거의 사용되지 않습니다.
• 프롬프팅: 지배적인 전략은 지시 기반 (10 건) 과 역할 기반 (9 건) 프롬프팅입니다. 자기 성찰, 에이전트 기반 프롬프팅, 사고의 연쇄와 같은 고급 기법은 드뭅니다.
• 아키텍처: 대부분의 연구는 신중하게 제작된 프롬프트를 통해 단일 LLM 을 호출하는 단순한 아키텍처를 사용합니다. 복잡한 다중 에이전트 시스템 또는 반복적 피드백 루프는 드물게 탐구됩니다.

3. 접근성 문제 및 표준 (RQ2 및 RQ4)

• 표준: WCAG(웹 콘텐츠 접근성 가이드라인) 는 압도적인 다수의 연구에서 인용되는 지배적인 참조 프레임워크입니다. COGA(인지 접근성 가이드라인) 는 소수의 연구에서만 참조되어 인지 접근성 대응에 대한 격차를 나타냅니다.
• 문제: 가장 빈번하게 다루어진 문제는 비텍스트 콘텐츠에 대한 부재하거나 모호한 대체 텍스트 (21 건) 입니다. 그 다음으로는 불충분한 색상 대비 (16 건) 와 잘못된 제목 구조 및 누락된 레이블과 같은 구조적/의미론적 문제가 이어집니다.
• 신흥 위험: 전통적인 WCAG 기준에서 완전히 포착되지 않는 LLM 고유의 실패 모드가 확인되었습니다. 여기에는 환각된 이미지 설명, 손상된 ARIA 사용, 자동 생성 과정에서 도입된 설계 결함이 포함됩니다.

4. 평가 관행 (RQ5)

평가 관행은 방법론적으로 다양하지만 불균등합니다. 경험적 평가 (12 건) 와 정성적 평가 (4 건) 가 가장 일반적입니다. 그러나 장애 사용자의 직접적인 참여는 제한적입니다. 많은 연구가 저자, 학생 또는 개발자를 대리인으로 사용하거나 자동화된 감사와 전문가 검사를 사용합니다. 장애 사용자가 포함될 경우, 표본 크기는 일반적으로 작고 이질적입니다. 상당수의 연구는 참여자 정보를 전혀 보고하지 않습니다.

5. 장애 그룹 커버리지

검토는 장애 커버리지의 불균형을 강조합니다. 시각 장애는 참여자가 포함된 연구 중 46.51% 로 가장 빈번하게 다루어진 그룹입니다. 인지, 지적, 운동/신체적 장애는 현저히 과소 대표됩니다.

중요성 및 주장

본 논문은 연구자와 실무자가 LLM 지원 웹 접근성의 현재 지형을 이해하기 위한 통합된 참조 자료로 자리매김합니다. LLM 이 접근성 작업과 관련된 노력을 줄이는 데 유망한 가능성을 보이고 있지만, 현재 이 분야는 다음과 같은 특징을 가지고 있다고 주장합니다:

• 작업 중심적 초점: LLM 은 대체 텍스트 생성과 같은 특정 작업을 위한 증강 도구로 간주되며, 전체적인 종단 간 접근성 솔루션으로 보지 않습니다.
• 준수 주도적 한계: 연구는 복잡한 인지 또는 경험적 접근성 요구 사항보다 쉽게 감지 가능한 WCAG 기준 (지각 가능성) 을 크게 우선시합니다.
• 평가 격차: 장애인을 포함한 엄격하고 사용자 중심적인 평가의 부재는 현재 발견 결과의 생태학적 타당성을 제한합니다.

저자들은 향후 연구가 인지 접근성을 포함하도록 범위를 확대하고, 단일 프롬프트 디자인을 넘어 더 복잡한 시스템 아키텍처를 탐구하며, LLM 기반 도구가 환각적 준수와 같은 새로운 위험을 도입하지 않고 장애 사용자에게 진정으로 혜택을 주도록 참여적 평가 방법을 채택해야 한다고 결론지었습니다.