Surfacing Variations to Calibrate Perceived Reliability of MLLM-generated Image Descriptions

기술 요약: MLLM 생성 이미지 묘사의 인지된 신뢰도 조정을 위한 변이(Variations) 표출

문제 정의
멀티모달 거대 언어 모델(MLLM)은 시각 장애인(BLV)이 시각 정보에 접근할 수 있도록 혁신적인 기회를 제공한다. 그러나 이러한 모델은 유창하지만 사실과 다른 응답을 생성하는 경우가 빈번하며, 여기에는 환각(내용 조작), 오해, 누락이 포함된다. 이러한 오류를 탐지하는 것은 시각적 검증을 할 수 없는 시각 장애 사용자에게 특히 까다로운 문제이다. 현재 사용자들은 여러 도구를 교차 확인하거나 시각 장애가 없는 사람에게 문의하는 등의 우회 방법을 사용하고 있으나, 이러한 방식은 시간이 많이 소요되고 비효리적이다. 또한, 기존의 모델 확신도 전달 방식(예: 수치적 확률)은 "블랙박스" 형태의 MLLM에서는 사용 불가능하거나, 긴 형태의 묘사 내에 존재하는 신뢰할 수 있는 정보와 신뢰할 수 없는 정보의 혼합 문제를 해결하지 못한다.

방법론
저자들은 시각 장애 사용자가 신뢰할 수 없는 정보를 탐지할 수 있도록 돕기 위해, 여러 MLLM 응답 간의 변이를 체계적으로 표출하는 시스템을 제안한다. 본 연구는 세 단계의 접근 방식을 따른다:

1. 디자인 공간 정립: 선행 문헌과 사용자 관행을 바탕으로, 변이를 유도하고 제시하기 위한 디자인 공간을 정의하였다. 주요 차원은 다음과 같다:

   • 유도(Elicitation): 다회 시행, 프롬프트 패러패레이징(paraphrasing), 또는 서로 다른 모델 사용을 통해 변이를 생성함.
   • 비교 지원(Comparison Support): 원시 목록(raw list), "변이 인식 묘사"(세부 사항을 하나의 일관된 텍스트로 통합), "변이 요약"(일치, 불일치, 고유 언급 강조) 옵션이 포함됨.
   • 그래뉼러리티(Granularity, 입도): 단어, 원자적 사실(atomic fact), 문장, 또는 응답 단위의 비교.
   • 지표(Indicators): 횟수, 백분율, 자연어, 또는 출처 표기를 통한 지원 수준 제공.

2. 프로토타입 개발: React와 Python Flask를 사용하여 제작되었으며, 주요 스크린 리더(NVDA, JAWS, VoiceOver)와 호환되는 프로토타입 시스템을 구축하였다.

   • 파이프라인: 시스템은 이미지당 3개의 최첨단 MLLM(GPT-4o, Gemini 1.5 Pro, Claude 3.7 Sonnet)에 대해 각각 3회씩 쿼리를 보내 총 9개의 묘사를 생성한다.
   • 처리: Chain-of-Thought 프롬프팅을 사용하여, 보조 모델(Gemini-2.5 Pro)이 묘사를 원자적 사실로 분해하고, 주제별로 클러스터링하며, 충돌을 해결한다.
   • 출력: 시스템은 세 가지 제시 스타일을 생성한다: 원시 목록, 변이 인식 묘사(계층적 마크다운), 그리고 변이 요약(일치, 불일치 및 고-유 언급을 명시적으로 표시).

3. 사용자 연구: 스크린 리더와 MLLM 도구를 정기적으로 사용하는 15명의 시각 장애 참여자를 대상으로 피험자 내(within-subject) 연구를 실시하였다.

   • 과업: 참가자들은 9개의 이미지-프롬프트 쌍(모델의 한계, 이미지 품질 문제, 주관성 등을 포함)을 모델의 단일 묘사, 9개의 묘사 목록, 그리고 저자들의 통합 접근 방식(변이 인식 묘사 + 요약)이라는 세 가지 조건 하에서 평가하였다.
   • 지표: 참가자들은 신뢰할 수 없는 주장(부정확하거나, 추측성이거나, 의견이 담긴 내용)을 식별하고, 7점 척도로 인지된 신뢰도를 평가하였다.

주요 기여

• 디자인 공간: 스크린 리더 사용자를 위해 최적화된, 블랙박스 MLLM 응답의 변이를 유도하고 제시하기 위한 구조화된 프레임워크를 제공한다.
• 프로토타입 시스템: 세 가지 스타일로 변이를 생성하고 제시하며, 특히 접근성에 최적화된 자동화된 파이프라인을 구축하였다.
• 실증적 결과: 변이를 표출하는 것이 사용자의 행동과 신뢰도 조정(calibration)을 유의미하게 변화시킨다는 증거를 제시한다.

결과

• 오류 탐지: 변이를 표출했을 때 신뢰할 수 없는 주장을 식별하는 수가 유의미하게 증가하였다. 저자들의 통합 접근 방식은 단일 묘사 대비 4.9배 증가한 신뢰할 수 없는 주장 식별 결과를 보였다(평균 2.62 vs 0.53). 원시 목록 조건 역시 개선 효과를 보였다(4.2배 증가).
• 인지된 신뢰도: 변이를 제시하는 것은 MLLM 응답의 인지된 신뢰도를 유의미하게 감소시켰다. 평균 신뢰도 점수는 5.78(단일 묘사)에서 3.93(저자들의 접근 방식)으로 떨어졌으며, 이는 성공적인 신뢰도 조정을 나타낸다.
• 사용자 선호도: 15명 중 14명의 참가자가 단일 묘사보다 변이를 보는 것을 선호하였다. 변이 요약이 가장 선호되는 형식이었으며(11명이 1위로 선택), 변이 인식 묘사가 그 뒤를 이었다. 여러 묘사로 구성된 원시 목록은 높은 인지 부하와 스크린 리더를 통한 선형적 불일치 추적의 어려움 때문에 일반적으로 기피되었다.
• 지원 지표: 지원 지표(출처, 백분율, 언어)에 대한 선호도는 다양했으나, 많은 이들이 텍스트 기반의 출처 표기(예: "3개 중 3개 GPT")가 투명하고 유용하다고 느꼈다.

의의 및 주장
본 논문은 변이를 표출하는 것이 시각 장애 사용자에게 MLLM 생성 이미지 묘사의 인지된 신뢰도를 조정하는 효과적인 개입임을 주장한다. 여러 모델의 출력을 비교할 수 있게 함으로써, 시스템은 사용자가 잠재적 오류의 지표 역할을 하는 불일치를 식별하도록 도와, 단일하고 자신감 넘치는 출력에 과도하게 의존하는 현상에서 벗어나게 한다.

저자들은 이 접근 방식이 **적절한 신뢰도 조정(appropriate trust calibration)**을 지원한다는 점을 강조한다. 이는 반드시 시스템을 (실제 정답 기준으로) "더 정확하게" 만드는 것이 아니라, 모델의 불확실성과 한계를 사용자에게 가시화하는 것이다. 이를 통해 시각 장애 사용자는 높은 확신의 합의와 낮은 확신의 혹은 상충하는 주장 사이를 구분할 수 있다. 본 연구는 통합된 변이 요약이 원시 목록보다 스크린 리더 사용자에게 더 우수하며, 여러 긴 형태의 텍스트를 처리해야 하는 인지적 부담 없이 핵심적인 불일치를 표출할 수 있는 간결한 방법을 제공함을 시사한다. 마지막으로, 본 논문은 이 접근 방식이 고위험 상황(예: 약물 식별, 내비게이션)과 주관적 과업(예: 의상 선택, 소셜 미디어 비평) 모두에서 유용함을 강조한다.