Can Vision-Language Models Answer Face to Face Questions in the Real-World?

이 논문은 실시간 카메라 및 오디오 입력을 기반으로 한 대화형 AI 의 능력을 평가하기 위해 'Qualcomm Interactive Video Dataset (IVD)'이라는 새로운 데이터셋과 벤치마크를 제안하고, 기존 모델은 인간 성능에 미치지 못하지만 해당 데이터로 미세 조정을 수행하면 상당한 성능 향상을 이룰 수 있음을 보여줍니다.

핵심

"눈앞에서 바로 대답해줘!" - 퀄컴의 새로운 AI 실험 (QIVD)

이 논문은 **"AI 가 실제로 우리 눈앞에 서서, 우리가 카메라로 찍는 장면을 보며 즉석에서 질문에 답할 수 있을까?"**라는 아주 흥미로운 질문에서 시작합니다.

지금까지의 AI 는 주로 **"이미지나 동영상을 다 끝까지 보고 난 뒤"**에 질문을 받았습니다. 마치 시험을 치러서 문제를 다 읽고 답을 쓰는 것과 비슷하죠. 하지만 이 논문은 **"실시간으로 대화하는 AI 비서"**를 상상합니다. 우리가 카메라를 들고 "이거 뭐야?"라고 물으면, AI 가 그 순간의 상황을 보고 바로 "아, 그건 당신의 오른쪽 눈이에요!"라고 대답해야 합니다.

이런 능력을 테스트하기 위해 연구팀이 만든 것이 바로 **QIVD(퀄컴 인터랙티브 비디오 데이터셋)**입니다.

---

1. 이 연구는 왜 중요할까요? (비유: "스마트폰 카메라 vs. 눈앞의 친구")

• 기존 AI (스마트폰 카메라): 우리가 찍은 동영상을 다 끝까지 저장해 둔 뒤, 나중에 "이거 뭐였지?"라고 물어보면 답을 줍니다. 하지만 그 순간의 분위기나 "지금 당장"이라는 느낌을 못 느낍니다.
• 이 연구의 목표 (눈앞의 친구): 우리가 카메라를 들고 "내 손이 뭐야?"라고 물으면, AI 는 그 순간을 보고 "아, 네가 지금 손가락을 움직이고 있네, 그건 네 손이야!"라고 즉시 대답해야 합니다.

이게 왜 어려울까요?

1. 언제 대답해야 할지 모릅니다: 질문을 끝내자마자 대답해야 할까요, 아니면 행동이 끝날 때까지 기다려야 할까요? (예: "내가 몇 번 박수 쳤어?"라고 물었을 때, 박수를 다 치기 전에 대답하면 틀립니다.)
2. 소리와 영상을 동시에 봐야 합니다: "이 소리는 뭐야?"라고 물으면 영상만 봐서는 답을 못 합니다. 소리와 영상을 동시에 이해해야 합니다.
3. 지시어 (이것, 저것) 를 알아야 합니다: "이거 뭐야?"라고 물었을 때, 카메라가 가리키는 것이 무엇인지 정확히 알아야 합니다.

2. QIVD 란 무엇인가요? (비유: "실시간 퀴즈 대회")

연구팀은 2,900 개의 짧은 동영상을 만들었습니다.

• 상황: 사람들이 카메라를 들고 다양한 행동을 합니다 (박수 치기, 물체 가리키기, 얼굴 표정 짓기 등).
• 질문: 그 순간에 "내가 몇 번 박수 쳤어?", "이게 내 눈이야 코야?", "이거 올바르게 쓰는 거야?" 같은 질문을 합니다.
• 정답: 사람이 직접 정답을 적고, **"정답을 말할 수 있는 최적의 순간"**을 기록했습니다.

이 데이터셋은 AI 에게 **"실시간 퀴즈"**를 내는 것과 같습니다. 동영상이 끝나기 전에, 소리가 들리는 순간, 상황을 파악해서 바로 답을 내야 합니다.

3. 실험 결과: AI 는 아직 초보입니다 (비유: "천재 수학자지만, 눈앞의 친구는 못 알아봄")

연구팀은 최신 AI 모델들 (GPT-4o, Gemini 등) 을 이 퀴즈에 풀어보게 했습니다. 결과는 어떨까요?

• 사람: 거의 100% 정답을 맞췄습니다. "아, 네가 지금 박수 6 번 쳤네!"라고 바로 알았습니다.
• AI: 대부분의 모델이 50% 미만으로 실패했습니다.
  • 실수 1: "언제 대답해야 하지?"를 몰라 너무 일찍, 혹은 너무 늦게 대답했습니다. (박수를 다 치기 전에 "3 번이야!"라고 말함)
  • 실수 2: 소리와 영상을 따로따로 봐서 혼란스러워했습니다. (소리는 들리는데 영상은 못 봄)
  • 실수 3: "이거"가 무엇을 가리키는지 헷갈렸습니다.

하지만 희망적인 소식!
이런 데이터로 AI 를 다시 훈련시키니 (Fine-tuning), 성능이 꽤 좋아졌습니다. 특히 "언제 대답할지"를 배우고, 소리와 영상을 함께 보는 훈련을 하면 AI 가 훨씬 더 똑똑해졌습니다. 하지만 아직 사람만큼 완벽하진 않습니다.

4. 결론: AI 비서의 미래는?

이 논문은 **"AI 가 우리와 눈앞에서 대화하는 세상"**이 아직 멀었음을 보여주지만, 동시에 **"어떻게 하면 그 길을 뚫을 수 있는지"**에 대한 지도를 제시합니다.

• 핵심 메시지: AI 가 단순히 영상을 분석하는 것을 넘어, 실시간으로 우리와 소통하려면 "언제 말을 해야 하는지", "소리와 영상을 어떻게 섞을지"를 배워야 합니다.
• 미래상: 언젠가 우리 집 로봇이나 스마트폰 비서가 카메라를 통해 우리 눈을 보고, "오늘 기분 어때?", "이거 어떻게 써?"라고 물어보면 바로 정답을 알려주는 날이 올 것입니다. 이 연구는 그날을 앞당기기 위한 첫걸음입니다.

한 줄 요약:

"지금까지 AI 는 '시험지'를 보고 답을 썼지만, 이제는 '눈앞의 대화'를 할 수 있도록 훈련시키는 새로운 게임 (QIVD) 을 만들었더니, AI 는 아직 초보지만 훈련하면 점점 잘하게 될 거야!"

기술 요약

Qualcomm Interactive Video Dataset (QIVD) 기술 요약

이 논문은 현실 세계의 실시간 "얼굴 대 얼굴 (Face-to-Face)" 상호작용에서 비전 - 언어 모델 (Vision-Language Models, VLM) 이 직면하는 한계를 규명하고, 이를 평가 및 훈련하기 위한 새로운 데이터셋과 벤치마크인 **Qualcomm Interactive Video Dataset **(QIVD)을 소개합니다.

1. 문제 정의 (Problem)

최근 대규모 멀티모달 모델 (LMM) 은 이미지 설명이나 오프라인 비디오 질문 답변 (VQA) 과 같은 작업에서 뛰어난 성과를 보였습니다. 그러나 이러한 모델들은 실시간으로 카메라와 마이크를 통해 사용자와 대화하며, unfolding 되는 장면 (live unfolding scenes) 에 대해 질문하고 답변하는 능력에서는 크게 부족합니다.

기존 연구의 주요 한계점은 다음과 같습니다:

• 오프라인 편향: 대부분의 데이터셋은 전체 비디오와 질문을 한 번에 입력받아 답변하는 오프라인 방식을 기반으로 합니다.
• **상황적 이해 **(Situated Understanding) "누가", "무엇을", "언제"에 대한 지시어 (deictic expressions, 예: "이것", "저것") 나 손가락 가리키기 (pointing gestures) 와 같은 실시간 상호작용 맥락을 이해하지 못합니다.
• **언제 답변할지 **(When-to-Answer) 대화의 흐름상 적절한 답변 시점을 판단하는 능력이 부족하여, 정보가 충분하지 않은 상태에서过早에 답변하거나, 필요한 정보가 나온 후에도 지연하여 답변하는 문제가 발생합니다.

2. 방법론 (Methodology)

2.1 QIVD 데이터셋 구축

저자들은 온라인 질문 - 답변 (Online QA) 패러다임을 기반으로 한 QIVD 를 개발했습니다.

• 수집 방식: 크라우드 워커들이 모바일 또는 노트북의 카메라와 마이크를 사용하여 짧은 비디오를 촬영하고, 그 과정에서 실시간으로 질문을 던지는 방식으로 데이터를 수집했습니다.
• 주요 특징:
  • 실시간 상호작용: 질문이 비디오가 진행되는 동안 발생하며, 답변은 비디오의 특정 시점 (timestamp) 에서만 가능해야 합니다.
  • 다양한 태스크: 지시어 참조, 손가락 가리키기, 객체 모호성 해결, 행동 이해 및 카운팅, 오디오 - 비주얼 통합 등 13 가지 의미론적 범주로 분류됩니다.
  • 애너테이션: 각 비디오는 질문의 텍스트 전사본, 인간이 작성한 정답, 그리고 **정답이 가능한 최적의 시점 **(Ground-truth when-to-answer timestamp)으로 레이블링됩니다.
• 통계: 총 2,900 개의 비디오 클립, 평균 길이 약 5.1 초, 13 가지 카테고리 포함.

2.2 베이스라인 스트리밍 접근법

기존 LMM 들의 실시간 처리 한계를 극복하기 위해 저자들은 새로운 스트리밍 파이프라인을 제안했습니다.

1. 스트리밍 ASR: Whisper-Streaming 모델을 사용하여 오디오 스트림을 실시간으로 전사하고 질문의 끝을 감지합니다.
2. When-to-Answer 감지: 질문이 끝났다고 해서 바로 답변할 수 있는 것은 아닙니다. 비디오의 추가적인 시각적 맥락이 필요할 수 있으므로, 최적의 답변 시점을 감지하는 로직이 필요합니다.
3. LMM 백본: 감지된 시점까지의 비디오 프레임과 전사된 질문을 입력받아 답변을 생성합니다.

2.3 실험 설정

• 모델: 오픈소스 (VideoLLaMA 시리즈, LLaVA, Qwen-VL 등) 와 클로즈드소스 (GPT-4o, Gemini-2.5-Flash) 모델들을 제로샷 (zero-shot) 으로 평가했습니다.
• 파인튜닝: QIVD 데이터셋을 사용하여 VideoLLaMA2.1-7B-AV 모델을 오디오와 비주얼 모달리티 모두로 파인튜닝하여 성능 개선을 검증했습니다.
• 평가 지표: LLM 저지 (Qwen3-8B) 를 활용한 정답률 (Correctness) 과 BLEU, ROUGE-L 등 텍스트 유사도 지표를 사용했습니다.

3. 주요 기여 (Key Contributions)

1. QIVD 데이터셋 및 벤치마크 도입: 실시간 상황적 오디오 - 비주얼 추론과 대화 능력을 평가하는 최초의 대규모 데이터셋 중 하나입니다.
2. 기존 모델의 한계 규명: 최신 LMM 들이 실시간 대화에서 인간 성능에 비해 현저히 낮음을 입증하고, 주요 실패 원인 (지시어 해석 실패, 행동 카운팅 오류, 오디오 - 비주얼 정렬 실패 등) 을 식별했습니다.
3. 파인튜닝의 효과 입증: 적절한 오디오 - 비주얼 대화 데이터로 파인튜닝하면 성능 격차를 크게 줄일 수 있음을 보였습니다.
4. 스트리밍 기반 베이스라인 개발: 오프라인 패러다임에서 벗어난, 실시간 스트리밍 입력을 처리하는 효과적인 기본 모델을 제안했습니다.

4. 실험 결과 (Results)

4.1 성능 격차

• 인간 vs AI: 인간은 모든 카테고리에서 약 87% 이상의 정답률을 보인 반면, 최신 모델 (GPT-4o, Gemini-2.5-Flash 등) 은 약 50~60% 수준에 그쳤습니다.
• 정적 vs 동적: 정적 객체 인식 (Object Detection) 과 같은 작업에서는 모델이 상대적으로 잘 수행하지만, **행동 카운팅 **(Action Counting)과 같은 시간적 추론이 필요한 작업에서는 성능이 급격히 떨어집니다 (예: 행동 카운팅에서 인간 85.7% vs 최고 모델 33.48%).
• 스트리밍 ASR 의 영향: ASR 로 추출된 질문과 시점을 사용할 경우, 정답률이 인간이 작성한 질문/시점을 사용할 때보다 약 5~10% 포인트 감소했습니다. 이는 질문 전사의 오류와 "언제 답변할지" 시점 감지의 부정확성이 성능 저하의 주요 원인임을 시사합니다.

4.2 파인튜닝 및 멀티모달 통합 효과

• 파인튜닝: VideoLLaMA2.1-7B-AV 모델을 QIVD 로 파인튜닝한 결과, **행동 카운팅 **(+16.96%), **행동 이해 **(+10.00%), **주관적 질문 **(+23.26%), **오디오 - 비주얼 통합 **(+17.39%) 분야에서 가장 큰 성능 향상을 보였습니다.
• 오디오의 중요성: 오디오 정보를 포함한 멀티모달 파인튜닝 모델은 비주얼만 사용하는 모델보다 전반적으로 성능이 우수했습니다. 특히 오디오가 핵심인 작업뿐만 아니라 객체 감지 및 카운팅 작업에서도 성능이 향상되어, 오디오와 비주얼의 통합이 상황적 이해에 필수적임을 입증했습니다.

4.3 "언제 답변할지" (When-to-Answer) 의 중요성

• 정답 시점을 정확하게 감지하는 것이 모델 성능에 결정적인 영향을 미칩니다. 스트리밍 ASR 이나 모델 자체의 시점 감지 오류는 종종 답변이 너무 일찍 (정보가 부족할 때) 나 너무 늦게 발생하게 만들어 정답률을 낮춥니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 에이전트가 인간과 일상적인 상황에서 실시간으로 상호작용하기 위해 해결해야 할 핵심 과제를 제시합니다.

• 현실적 평가 기준: 기존의 오프라인 벤치마크로는 측정할 수 없었던 "실시간 상황적 추론" 능력을 평가할 수 있는 표준을 마련했습니다.
• 향후 연구 방향: 단순한 객체 인식을 넘어, 시간적 맥락 이해, 지시어 해석, 오디오 - 비주얼 통합, 그리고 "언제 말할지" 판단하는 능력을 갖춘 차세대 멀티모달 모델 개발의 필요성을 강조합니다.
• 응용 가능성: 이 연구는 인간형 로봇, 실시간 비디오 채팅 봇, 개인 비서 등 실제 환경에서 사용자와 상호작용해야 하는 AI 시스템의 발전에 중요한 기초를 제공합니다.

결론적으로, QIVD 는 현재 LMM 들이 실시간 대화에서 겪는 심각한 한계를 드러내면서도, 적절한 데이터와 파인튜닝을 통해 이러한 격차를 해소할 수 있음을 보여주는 중요한 이정표입니다.