IRIS: Intent Resolution via Inference-time Saccades for Open-Ended VQA in Large Vision-Language Models

이 논문은 실시간 안구 추적 데이터를 활용하여 모호한 시각적 질문 응답 (VQA) 의 정확성을 두 배 이상 향상시키는 새로운 훈련 없는 방법론인 IRIS 를 제안하고, 500 개의 이미지 - 질문 쌍을 포함한 사용자 연구를 통해 그 유효성을 입증합니다.

핵심

이 논문은 **'IRIS(아이리스)'**라는 새로운 기술을 소개합니다. 이 기술은 인공지능(AI)이 사람의 눈을 보고 "무엇을 물어보는 건지" 정확히 알아내어, 헷갈리는 질문에 답을 잘 하도록 도와줍니다.

마치 인간과 AI 가 대화할 때, AI 가 사람의 '시선'을 읽는 능력을 얻은 것과 같습니다.

이 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

🧐 문제: "저거 뭐야?"라고 물으면 AI 는 당황합니다

우리가 사진을 보고 "저거 뭐야?"라고 물으면, AI 는 보통 "저게 뭐지?"라고 생각합니다.
예를 들어, 사진에 빨간 사과 두 개가 있는데, 하나를 가리키며 "이거 빨간색이야?"라고 물으면, AI 는 "어느 사과를 말하는 거지?"라고 헷갈려합니다.

기존의 AI 는 사람의 **말 (음성)**만 듣고 답을 하기 때문에, 어떤 사과를 가리키는지 알 수 없으면 엉뚱한 사과에 대해 설명하거나 "모르겠다"고 답할 가능성이 높습니다.

👁️ 해결책: IRIS 는 "눈이 말하는 말"을 듣습니다

이 연구팀이 개발한 IRIS는 사람의 **눈동자 움직임 (시선)**을 실시간으로 추적합니다.

비유: "손가락 대신 눈동자가 가리키는 것"

우리가 친구에게 "저기 있는 저거 줘"라고 말하며 손을 뻗으면, 친구는 손가락이 가리키는 곳을 봅니다.
하지만 IRIS 는 손가락이 아니라 '눈'이 가리키는 곳을 봅니다.

사람이 "이 사과 빨간색이야?"라고 입을 열기 바로 직전, 눈이 자연스럽게 그 사과를 응시합니다. IRIS 는 이 눈의 움직임을 AI 에게 "이 사과를 보고 있어!"라고 알려주는 신호로 사용합니다.

🚀 IRIS 가 어떻게 작동하나요? (3 단계)

1. 눈을 추적합니다: 사람이 사진을 보며 질문을 준비할 때, 눈이 어디에 머물렀는지 기록합니다.
2. 가장 중요한 순간을 잡습니다: 연구 결과, 사람이 **말을 시작하기 직전 (약 1 초 전후)**에 눈이 머문 곳이 가장 중요합니다. 이때의 시선이 "내가 지금 이거에 대해 물어보고 있어"라는 신호를 가장 명확하게 보냅니다.
3. AI 에게 힌트를 줍니다: AI 에게 질문과 사진을 보여줄 때, **눈이 머물렀던 곳에 하얀 십자 표시 (✖️)**를 그려서 보여줍니다. 마치 "여기 봐!"라고 알려주는 것과 같습니다.

📊 결과는 어땠나요?

실험 결과, IRIS 를 쓰지 않았을 때 AI 는 헷갈리는 질문에 **35%**만 정확히 답했습니다. 하지만 IRIS 를 도입하자 이 수치가 **77%**로 두 배 이상 뛰었습니다!

• 헷갈리는 질문 (Ambiguous): 눈의 힌트 덕분에 정확도가 폭발적으로 증가했습니다.
• 분명한 질문 (Unambiguous): 이미 답이 명확한 질문에는 눈의 힌트가 크게 영향을 주지 않았습니다 (이미 잘 맞추기 때문).

💡 왜 이것이 중요할까요?

이 기술은 AI 모델을 처음부터 다시 가르칠 필요 (재학습) 없이, 이미 있는 AI 에게 바로 적용할 수 있습니다.

• 미래의 AR/VR: 안경을 쓰고 쇼핑을 할 때, "이 신발 사이즈는?"이라고 말하면 AI 는 당신이 보고 있는 신발을 정확히 인식해줍니다.
• 자연스러운 대화: 우리는 말로만 설명하기 어려운 복잡한 상황에서도, 눈으로만 가리키면 AI 가 이해할 수 있게 됩니다.

🎯 한 줄 요약

"IRIS 는 AI 가 사람의 눈을 읽게 만들어, '저기 있는 그거'라고 말할 때 정확히 무엇을 가리키는지 알아내게 해주는 기술입니다."

이처럼 사람의 자연스러운 행동 (눈동자) 을 활용하면, AI 와의 소통이 훨씬 더 직관적이고 정확해질 수 있다는 것을 보여준 획기적인 연구입니다.

기술 요약

1. 문제 정의 (Problem)

최근 대규모 비전 - 언어 모델 (VLMs) 은 표준 벤치마크에서 뛰어난 성능을 보이지만, 참조 모호성 (Referential Ambiguity) 이라는 현실적인 문제에 직면해 있습니다.

• 모호성의 본질: 이미지 내에 여러 개의 유사한 객체가 존재할 때 (예: "저게 뭐야?", "그 색깔은 뭐야?"), 모델은 사용자가 실제로 어떤 객체를 지칭하는지 (Referent) 를 파악할 수 있는 문맥적 근거가 부족합니다.
• 기존 한계: 기존 VLM 은 오직 이미지와 질문 텍스트만 기반으로 추론하므로, 여러 후보가 존재하는 상황에서 올바른 객체를 선택하거나 추가적인 확인 질문을 하지 않고 잘못된 가정을 내세우는 경우가 많습니다.

2. 방법론 (Methodology: IRIS)

저자들은 IRIS (Intent Resolution via Inference-time Saccades) 라는 새로운 접근법을 제안합니다. 이는 모델 재학습 없이 추론 시간 (Inference-time) 에 인간의 시선 추적 (Eye-tracking) 데이터를 활용하여 모호성을 해결하는 훈련 없는 (Training-free) 방법론입니다.

• 핵심 아이디어: 인간의 언어 생성 계획은 말하기 시작하기 수백 밀리초 전에 시선 (Fixation) 이 대상 물체로 향한다는 인지과학적 사실에 기반합니다. 즉, 사용자가 질문을 할 때 시선이 머무는 위치가 의도된 참조 대상 (Intended Referent) 을 나타내는 강력한 신호입니다.
• 시스템 아키텍처:
  1. 실시간 데이터 수집: 사용자가 이미지를 보고 질문을 생성하는 동안 시선 추적 데이터와 음성 (질문) 을 실시간으로 기록합니다.
  2. 시선 데이터 처리 (Temporal-Spatial Filtering):
     • 시간적 필터링: 음성 시작 (Speech Onset) 시점을 기준으로 특정 시간 창 (약 ±1 초) 내의 시선 데이터만 추출합니다. 분석 결과, 질문을 시작하는 시점 주변의 시선이 가장 정보량이 많았습니다.
     • 공간적 필터링: 추출된 시선 좌표들의 중앙값 (Median) 을 계산하고, 이로부터 2 도 (dva) 반경 내의 시선만 남깁니다.
  3. VLM 입력: 처리된 시선 데이터 (검은 원 위에 흰색 십자가로 표시된 Fixation 마커) 를 원본 이미지와 함께 VLM 에 추가 컨텍스트로 제공합니다.
  4. 프롬프트 전략: 모델이 시선 데이터를 언급하지 않고 자연스럽게 답변하도록 지시하는 시스템 프롬프트를 사용합니다.

3. 주요 기여 (Key Contributions)

1. IRIS 프레임워크 도입: 모델 파라미터 수정이나 특정 아키텍처에 의존하지 않고, 추론 단계에서 인간의 시선 데이터를 활용하여 VLM 의 모호성 해결 능력을 향상시키는 훈련 없는 방법을 처음 제안했습니다.
2. 새로운 벤치마크 및 데이터셋: 10 명의 참가자가 50 개의 이미지 (모호한 질문 40 개, 명확한 질문 10 개) 에 대해 생성한 500 개의 고유한 이미지 - 질문 쌍, 동기화된 시선 및 음성 데이터를 포함한 새로운 데이터셋을 공개합니다.
3. 시간적 역학 분석: 질문 시작 시점 (Speech Onset) 주변의 시선 데이터가 모호성 해결에 가장 결정적인 역할을 한다는 것을 실증적으로 입증했습니다.
4. 범용성 검증: 10 가지 이상의 최신 VLM (GPT-5, Gemini, Claude, Qwen 등) 에서 일관된 성능 향상을 확인했습니다.

4. 실험 결과 (Results)

500 개의 이미지 - 질문 쌍을 대상으로 한 사용자 연구 및 다양한 VLM 평가 결과는 다음과 같습니다.

• 모호한 질문에서의 성능 극대화:
  • 이미지만 제공했을 때의 정확도: 35.2%
  • 시선 데이터 (IRIS) 를 추가했을 때의 정확도: 77.2%
  • 결과: 모호한 질문의 정확도가 2 배 이상 (약 115% 향상) 증가했습니다 ($p < .001$).
• 명확한 질문에서의 영향:
  • 이미 참조 대상이 명확한 질문의 경우, 시선 데이터 추가가 성능에 유의미한 변화를 주지 않았습니다 (83.0% → 86.0%, $p = .52$). 이는 제안된 방법이 불필요한 노이즈를 추가하지 않고 명확한 상황에서는 기존 성능을 유지함을 의미합니다.
• 모델 아키텍처 독립성:
  • GPT-5, Gemini 2.5, Claude, Qwen 등 다양한 크기와 아키텍처의 모델에서 일관된 성능 향상을 보였습니다. 이는 시선 데이터가 모델의 지시 따르기 (Instruction-following) 능력을 활용하는 보편적인 디스암비규에이션 (Disambiguation) 사전 지식으로 작용함을 시사합니다.
• 시선 데이터 처리의 중요성:
  • 음성 시작 시점 (Speech Onset) 을 중심으로 한 시간 창을 최적화하지 않고 모든 시선을 사용하거나, 단순히 이미지만 사용하는 것보다 성능이 유의미하게 높았습니다.
  • 시선 데이터를 열도 (Heatmap) 나 바운딩 박스, 좌표 텍스트로 표현하는 것보다, 이미지 위에 직접 마커 (십자가) 로 시각화하는 방식이 가장 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 적용 가능성: IRIS 는 모델을 재학습시키지 않고도 기존 VLM 에 즉시 적용 가능하므로, AR/VR 기기나 접근성 도구와 같이 실시간 시선 추적이 가능한 환경에서 즉각적인 활용이 가능합니다.
• 인간 - AI 상호작용의 패러다임 전환: 사용자의 의도 (Intent) 를 언어뿐만 아니라 비언어적 신호 (시선) 를 통해 자연스럽게 파악하여, 인간과 AI 간의 직관적인 소통을 가능하게 합니다.
• 미래 연구 방향: 이 연구는 시선 기반 VQA 의 가능성을 입증했으며, 향후 다른 모달리티나 복잡한 작업으로 확장될 수 있는 기초를 마련했습니다.

요약하자면, IRIS 는 "사용자가 질문할 때 바라보는 곳" 이라는 자연스러운 인간 행동을 활용하여, 대규모 비전 - 언어 모델이 이미지 내의 모호한 객체를 정확하게 식별하도록 돕는 혁신적이고 실용적인 솔루션입니다.