기술 요약: Insight – LLM 을 활용한 시각 장애인 및 저시력 사용자를 위한 모바일 접근성 강화

1. 문제 제기

시각 장애인 및 저시력 (BVI) 사용자를 위한 기존 모바일 접근성 도구 (예: Android 의 Google TalkBack, iOS 의 VoiceOver) 는 순차적이고 제스처 기반의 탐색에 의존합니다. 사용자는 특정 콘텐츠를 찾기 위해 화면의 모든 요소를 수동으로 스와이프해야 하며, 이 과정은 종종 느리고 인지적 부담이 크며 복잡한 인터페이스에서는 비효율적입니다. 이러한 도구들은 음성 피드백을 제공하지만, 화면 컨텍스트를 요약하거나 전체 레이아웃을 이해하는 능력은 부족하여 사용자들이 화면 구조를 기억해야 하고 높은 인지적 부하를 견뎌야 합니다. 기존 대규모 언어 모델 (LLM) 솔루션은 주로 데스크톱 환경이나 특정 작업 (예: 힌트 생성) 에 초점을 맞추어 왔으며, 화면 요약과 자연어 명령 실행을 결합한 실시간 대화형 모바일 접근성 분야에는 공백이 존재합니다.

2. 방법론

2.1 시스템 아키텍처: Insight

저자들은 Gemini 2.0 Flash LLM 을 구동하는 Android 접근성 서비스인 Insight를 개발했습니다. 이 시스템은 다음과 같은 파이프라인을 통해 작동합니다:

• UI 데이터 추출: 본 서비스는 Android 의 AccessibilityNodeInfo 를 활용하여 화면의 뷰 계층 구조를 캡처합니다. 이 데이터는 UI 요소 (레이아웃, 버튼, 텍스트 뷰) 의 계층적 표현과 기계 가독성을 위해 구조화된 JSON 형식으로 변환됩니다.
• 프롬프트 엔지니어링: 시스템은 LLM 을 안내하기 위해 엄격하게 설계된 프롬프트를 사용합니다. 이 프롬프트는 LLM 이 화면 컨텍스트 (JSON) 와 선택적 사용자 음성 명령을 수신하는 구조화된 상호작용 프로토콜을 강제합니다.
  • 출력 제약: LLM 은 responseType(요약, 동작, 답변, 또는 오류), 구두 텍스트, 실행 가능한 동작 목록이 포함된 특정 JSON 형식으로 응답하도록 의무화됩니다.
  • 그라운딩: 프롬프트는 LLM 이 제공된 화면 컨텍스트에 명시적으로 기반하도록 하여 존재하지 않는 UI 요소에 대한 환각을 방지합니다.
  • 동작 매핑: 실행 가능한 동작 (예: ACTION_CLICK, ACTION_SCROLL_FORWARD, open_app) 은 Android 접근성 서비스 API 에 직접 매핑되어 LLM 이 현재 화면 요소와 유효한 상호작용만 수행할 수 있도록 보장합니다.
• 상호작용 루프:
  1. 입력: 사용자의 음성이 기기 마이크를 통해 캡처되어 로컬에서 텍스트로 변환된 후 (지연 시간 최소화) LLM 으로 전송됩니다.
  2. 처리: LLM 이 화면 컨텍스트와 사용자 의도를 분석합니다.
  3. 출력: LLM 은 구조화된 JSON 응답을 반환합니다. 접근성 서비스는 이를 파싱하여 요약/답변을 구두로 전달하거나 클릭, 스크롤, 입력과 같은 UI 동작 시퀀스를 절차적으로 실행합니다.

2.2 실험 설계

본 연구는 HCI 과정에서 선정된 11 명의 참가자 (20~30 세, 남성 54.5%, 여성 45.5%) 를 대상으로 한 피험자 내 실험 설계를 사용했습니다.

• 참가자: 모든 참가자는 시력이 있었으나, BVI 조건을 시뮬레이션하기 위해 기기에서 시선을 돌리도록 지시받았습니다.
• 작업: 참가자들은 TalkBack(통제군) 과 Insight(실험군) 를 모두 사용하여 두 가지 작업을 수행했습니다:
  1. 탐색/설정: 설정 앱으로 이동하여 미디어 볼륨을 높입니다.
  2. 쇼핑: Amazon 앱을 열고 장바구니에 추가된 항목을 식별합니다.
• 데이터 수집: 작업 완료 시간은 정량적으로 측정되었습니다. 작업 후 반구조화된 인터뷰를 통해 지각된 사용성, 직관성, 일상적 도입 가능성을 평가했습니다. 전사본은 두 명의 코더가 인덕티브 주제 분석을 통해 분석했으며 (코더 간 신뢰도 $\kappa = 0.64$), 이를 수행했습니다.

3. 주요 결과

3.1 작업 효율성

Insight 는 TalkBack 에 비해 작업 완료 속도가 크게 향상됨을 보여주었습니다:

• 시간 단축: 참가자들은 Insight 를 사용하여 작업을 더 빠르게 완료했습니다. 쇼핑 작업에서 TalkBack 의 완료 시간은 75 초에서 거의 500 초까지 광범위하게 분포한 반면, Insight 는 현저히 낮은 시간과 더 좁은 분산을 보였습니다.
• 귀인: 효율성 향상은 Insight 가 실시간 화면 요약을 제공하고 자연어 명령을 수용하여 순차적 요소 스캐닝의 필요성을 제거한 능력에 기인합니다.

3.2 지각된 사용성

사용자 평가는 모든 지표에서 Insight 를 TalkBack 보다 압도적으로 선호했습니다:

• 사용 용이성: 92% 가 Insight 를 사용하기 쉽다고 평가한 반면 TalkBack 은 8% 였습니다.
• 직관성: 92% 가 Insight 를 직관적이라고 느낀 반면 TalkBack 은 8% 였습니다.
• 도입: 참가자의 100% 가 일상 작업에 Insight 를 사용할 의사가 있다고 밝혔으며, TalkBack 에 대해서는 0% 였습니다.

3.3 정성적 발견

• Insight 의 장점: 사용자는 자연스러운 대화 인터페이스, 인지적 부하 감소 (제스처 기억 불필요), 그리고 즉각적인 컨텍스트를 제공하는 고수준 요약에 찬사를 보냈습니다.
• TalkBack 의 한계: 사용자는 순차적 스와이프 요구와 컨텍스트 인식 부족으로 인해 TalkBack 을 "지루하고", "혼란스럽고", 인지적으로 지치게 만드는 것으로 묘사했습니다.
• Insight 의 한계:
  • 중단 관리: 긴 화면 요약을 중단할 수 없는 능력에 대해 사용자가 좌절감을 표출했습니다.
  • 명령 정밀도: 일부 사용자는 성공적인 실행을 위해 구체적인 문구가 필요하다고 지적하여 더 강력한 자연어 이해가 필요함을 시사했습니다.
  • 개인정보 보호: 클라우드 기반 LLM 으로 화면 콘텐츠와 음성 데이터가 전송되는 것에 대한 우려가 제기되었습니다.

4. 기여 및 중요성

본 논문은 모바일 접근성 분야에 다음과 같은 기여를 주장합니다:

• 실증적 검증: 기존 스크린 리더에 비해 LLM 기반 대화형 사용자 인터페이스 (CUI) 가 작업 완료 시간과 인지적 부하를 크게 줄일 수 있음을 입증했습니다.
• 하이브리드 잠재력: 이 연구는 개인 정보 보호와 정밀도를 위한 제스처 기반 탐색과 속도 및 컨텍스트를 위한 대화형 상호작용을 결합한 하이브리드 솔루션의 타당성을 시사합니다.
• 디자인 프레임워크: LLM 처리를 위해 Android UI 트리를 JSON 으로 변환하는 기술적 아키텍처를 제시하여, 환각을 방지하기 위해 LLM 을 실시간 모바일 컨텍스트에 그라운딩하는 방법을 입증했습니다.
• 이해관계자 영향:
  • 디자이너: 제스처를 넘어선 대안적 상호작용 패러다임에 대한 증거를 제공합니다.
  • 개발자: OS 레벨 접근성에 LLM 기반 서비스를 통합하는 방법을 강조합니다.
  • 연구자: 화면 요약 및 컨텍스트 인식 모바일 상호작용을 위해 LLM 기능을 구체적으로 개선할 필요성을 규명합니다.

5. 한계 및 향후 방향

저자들은 겸손하게 다음과 같은 몇 가지 한계를 인정합니다:

• 참가자 인구통계: 실제 BVI 사용자의 생생한 전문성이 결여된 채 시력을 가진 참가자가 실명을 시뮬레이션하는 데 사용되었습니다.
• 플랫폼 범위: 현재 시스템은 Android 전용입니다.
• 개인정보 보호 및 지연 시간: 클라우드 호스팅 모델에 대한 의존은 민감한 화면 데이터와 관련된 지연 시간 및 개인정보 보호 문제를 야기합니다.
• 단기 노출: 연구 기간이 장기적인 신뢰, 피로, 또는 학습 곡선을 평가하기에는 너무 짧았습니다.

저자가 제안한 향후 작업은 다음과 같습니다:

1. 하이브리드 제스처 - 대화형 모델 개발 (예: 탭하여 초점 맞추기, 그 후 요약 요청하기).
2. 사용자가 요약을 중단하거나 건너뛰도록 허용하는 중단 프로토콜 구현.
3. 지연 시간 감소 및 개인정보 보호 강화를 위해 개인정보 보호 영향 평가를 실시하고 온디바이스 LLM 배포(예: Gemma-3 사용) 를 모색.
4. 실제 시나리오에서 발견 사항을 검증하기 위해 다양한 BVI 사용자를 대상으로 한 종단적 현장 연구 수행.