AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

이 논문은 모호한 시각적 질문에 대한 전략적 응답 생성을 위해 모호성 수준을 세분화한 새로운 데이터셋 AQuA 를 제안하고, 이를 통해 학습된 비전 - 언어 모델이 모호성을 인식하고 상황에 맞는 응답 전략을 선택하여 기존 모델들을 능가하는 성능을 입증합니다.

핵심

이 논문은 **"rAQUA: 모호한 시각적 질문에 대한 전략적 답변 생성을 위한 연구"**라는 제목으로, 인공지능 (AI) 이 그림을 보고 질문을 받을 때 어떻게 더 똑똑하게 반응해야 하는지 제안합니다.

쉽게 비유하자면, 이 연구는 **"AI 에게 '이게 뭐야?'라고 물었을 때, 상황에 따라 '정답을 말해줘', '추측해줘', '리스트를 보여줘', 아니면 '무엇을 말하는 거지?'라고 다시 물어보는 법을 가르치는 방법"**을 소개합니다.

다음은 이 논문의 핵심 내용을 일상적인 언어와 비유로 설명한 것입니다.

---

1. 문제: AI 는 너무 자신만만해요 (The Overconfident Robot)

지금까지의 AI(시각 - 언어 모델) 들은 그림과 질문을 보면 무조건 정답을 내놓으려 합니다. 마치 시험을 볼 때, 문제가 "이 사과는 빨간색이야?"라고 물었을 때, 그림에 빨간 사과도 있고 초록 사과도 있는데도 불구하고 "빨간색이야!"라고 확신에 차서 대답하는 것과 같습니다.

하지만 현실에서는 상황이 다릅니다.

• 상황 A: 그림에 사과가 하나만 있다면? → "빨간 사과예요." (정답)
• 상황 B: 사과가 두 개 있는데 하나는 빨간색, 하나는 초록색이라면? → "어떤 사과를 말씀하시나요?" (질문)
• 상황 C: 사과가 두 개 있는데 둘 다 빨간색이라면? → "두 개 모두 빨간 사과예요." (리스트)

기존 AI 들은 이 차이를 구분하지 못해, 어떤 상황에서도 무조건 "정답"이라고 말하려다 틀리는 경우가 많습니다.

2. 해결책: AQUA (물과 같은 유연한 데이터)

저자들은 이 문제를 해결하기 위해 AQUA라는 새로운 데이터셋을 만들었습니다. 'AQUA'는 라틴어로 '물'을 뜻하는데, 물이 그릇 모양에 따라 형태를 바꾸듯, AI 가 질문의 모호함 (Ambiguity) 정도에 따라 답변 방식을 유연하게 바꾸도록 훈련시키기 위함입니다.

이 데이터셋은 질문을 **4 가지 단계 (레벨)**로 나누어 AI 에게 가르칩니다.

• 레벨 0 (명확한 질문): "식탁 위의 피자는 뭐야?" (피자가 하나뿐)
  • 전략: 바로 정답 말하기. ("피자예요.")
• 레벨 1 (맥락으로 해결 가능한 질문): "이거 위에 토핑이 뭐야?" (식탁에 핫도그 하나만 뚜렷하게 보임)
  • 전략: "이거"가 핫도그라는 걸 먼저 설명하고 정답 말하기. ("핫도그에 머스터드와 케첩이 있어요.")
• 레벨 2 (여러 가지 가능성): "이 선수 지금 뭐 하고 있어?" (야구장에 두 선수, 하나는 뛰고 하나는 공을 잡음)
  • 전략: 두 가지 가능성 모두 나열하기. ("왼쪽 선수는 뛰고 있고, 오른쪽 선수는 공을 잡는 중이에요.")
• 레벨 3 (정말 모호한 질문): "이 가구의 모양은 뭐야?" (방에 소파, 책상, 의자 등 비슷한 가구가 가득함)
  • 전략: 추측하지 말고 다시 물어보기. ("어떤 가구를 말씀하시나요? 소파, 책상 등 여러 개가 보이는데 구체적으로 알려주세요.")

3. 실험 결과: 큰 AI 보다 작은 AI 가 더 똑똑해졌어요

저자들은 이 AQUA 데이터로 AI 를 훈련시켰습니다. 결과는 놀라웠습니다.

• 기존의 거대 AI (GPT-5, Gemini 등): 아무리 크고 똑똑해도, 모호한 질문을 받으면 여전히 "무조건 정답"을 말하려 하거나, 반대로 "모르겠어요"라고만 하며 포기하는 경향이 있었습니다.
• 훈련된 작은 AI (AQUA 학습 모델): 상대적으로 작은 모델임에도 불구하고, 상황을 파악해서 가장 적절한 전략을 선택했습니다.
  • 명확하면 바로 답하고,
  • 맥락이 보이면 추측해서 답하고,
  • 가능성이 여러 개면 모두 나열하고,
  • 너무 모호하면 다시 물어보는 유연한 대화를 할 수 있게 되었습니다.

4. 핵심 교훈: "무조건 아는 척하지 마라"

이 논문의 가장 중요한 메시지는 **"AI 가 모든 질문에 정답을 내놓는 것이 능사가 아니다"**라는 점입니다.

비유하자면, 기존 AI 는 "모르는 것도 알아서 대답해야 한다"는 강박에 시달리는 학생 같았습니다. 하지만 AQUA 를 통해 훈련된 AI 는 "상황을 보고, 아는 건 말하고, 모르는 건 물어보고, 여러 가지라면 모두 알려주는" 현명한 상담사처럼 변했습니다.

요약

1. 문제: AI 가 그림 속 모호한 질문에 대해 무조건 확신에 차서 틀린 답을 내놓는다.
2. 해결: 모호함의 정도 (명확함 → 맥락 파악 → 여러 가능성 → 너무 모호함) 에 따라 4 가지 다른 답변 전략을 가르치는 데이터 (AQUA) 를 만들었다.
3. 결과: 이 데이터로 훈련된 AI 는 거대 모델들보다 훨씬 더 인간처럼 상황에 맞는 유연한 답변을 한다.
4. 의미: AI 가 단순히 '지식'을 쌓는 것을 넘어, '불확실성을 관리하는 능력'을 배워야 현실 세계와 더 잘 소통할 수 있음을 보여줍니다.

결국 이 연구는 AI 에게 **"정답을 외우는 것보다, 상황에 따라 어떻게 반응할지 고민하는 법"**을 가르친 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 시각적 질문 응답 (VQA) 벤치마크는 명확하고 모호함이 없는 이미지 - 질문 쌍을 주로 다루며, 이는 모델의 기본적인 다중 모달 추론 능력을 평가하는 데 유용합니다. 그러나 실제 세계의 시나리오에서는 다양한 정도의 모호함 (Ambiguity) 이 존재하며, 이는 정교한 추론과 상황에 맞는 응답 전략이 필요합니다.

현재의 VLM(시각 - 언어 모델) 들은 다음과 같은 한계를 보입니다:

• 전략적 부재: 모호한 질문에 대해 항상 명확한 답을 하거나, 반대로 무조건적으로 질문을 되돌리는 이분법적 접근을 취합니다.
• 과신 (Overconfidence): 모호함이 존재함에도 불구하고, 임의로 하나의 대상을 선택하여 확신에 찬 답변을 생성하는 경향이 강합니다.
• 맥락적 적응 실패: 모호함의 유형과 정도에 따라 응답 전략 (직접 답변, 문맥 추론, 대안 나열, 명확화 요청 등) 을 유연하게 변경하지 못합니다.

2. 방법론 (Methodology)

이 논문은 AQUA (Ambiguous Visual Question Answering) 라는 새로운 데이터셋과 이를 활용한 모델 학습 전략을 제안합니다.

2.1 AQUA 데이터셋

COCO 데이터셋을 기반으로 생성된 AQUA 는 모호함의 성격과 정도에 따라 4 가지 세분화된 레벨로 분류됩니다. 각 레벨은 최적의 응답 전략이 다릅니다.

• Level 0 (Unambiguous): 명확한 질문. 모호한 지시어 없이 단일 정답이 존재하는 경우. (기존 VQA 와 동일)
• Level 1 (Low-Level Referential Ambiguity): "이것", "저것" 같은 지시어가 사용되었으나, 문맥상 참조 대상이 명확히 하나인 경우. 모델은 지시어를 해석하여 직접 답변해야 함.
• Level 2 (Multiple Valid Interpretations): 2~3 개의 가능한 해석이 존재하는 경우. 명확화 요청보다는 모든 가능한 대안을 나열하는 것이 효율적인 전략.
• Level 3 (High-Level Ambiguity): 참조 대상이 너무 많거나 유사하여 문맥만으로는 판단 불가능한 경우. 명시적인 명확화 (Clarification) 요청이 필수적인 전략.

데이터 생성 및 필터링:

• GPT-5 를 활용하여 레벨별 프롬프트로 질문 - 답변 쌍을 생성.
• 3 단계 필터링 (레벨 일관성 확인, 최적 레벨 매칭, 실세계 이미지 및 사실성 검증) 을 거치고, MTurk 를 통한 인간 평가를 통해 데이터 품질을 보장.
• 총 7,200 개 샘플 (학습 3,600 개, 평가 3,600 개) 로 구성.

2.2 모델 학습 전략 (Training Pipeline)

기존 모델이 전략을 선택하지 못하는 문제를 해결하기 위해 2 단계 학습 파이프라인을 도입했습니다.

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):
   • AQUA 데이터로 모델을 학습시켜 모호함 인식과 다양한 응답 전략의 공간 (Space) 을 명시적으로 가르침.
   • SFT 만으로는 전략 선택의 최적화가 부족할 수 있음.
2. 그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO):
   • SFT 이후 GRPO 를 적용하여 전략적 선택 능력을 강화.
   • 보상 설계 (Reward Design): LLM-as-a-Judge(GPT-5-mini) 를 사용하여 생성된 응답이 해당 모호함 레벨에 맞는 전략을 취했는지 평가.
     • 전략이 맞고 사실 오류가 없으면: Reward 1
     • 전략이 맞지만 사실 오류 (할루시네이션) 가 있으면: Reward 0.7 (패널티 적용)
     • 전략이 틀리면: Reward 0

3. 주요 기여 (Key Contributions)

1. AQUA 데이터셋 제안: VQA 의 모호함을 4 가지 세분화된 레벨로 체계적으로 분류하고, 각 레벨에 맞는 최적의 응답 전략을 정의한 최초의 데이터셋.
2. 전략 인식 모델 학습: 오픈소스 모델 (Qwen2.5-VL, InternVL) 을 AQUA 로 미세 조정하여, 모델이 모호함의 정도에 따라 적응적으로 응답 전략을 선택하도록 함.
3. 성능 및 분석:
   • 미세 조정된 모델이 더 큰 오픈소스 모델 및 GPT-5, Gemini 2.5 Flash 와 같은 강력한 폐쇄형 모델보다 모호한 VQA 에서 월등히 높은 성능을 보임.
   • 기존 모델들이 모호함을 인식하지 못하고 과신하는 답변을 하는 이유와, 전략적 응답이 왜 효과적인지에 대한 심층 분석 수행.

4. 실험 결과 (Results)

• 벤치마크 성능 (Table 2):

  • Zero-shot/CoT/Strategy Prompting: 기존 모델들은 모호한 상황 (Level 1~3) 에서 전략적 정확도 (Strategic Accuracy) 가 매우 낮음 (대부분 30% 미만). 특히 GPT-5 나 Gemini 와 같은 최상위 모델조차 모호함 처리에 실패함.
  • AQUA Tuned Models: SFT+GRPO 로 학습된 Qwen2.5-VL-3B-Tuned 와 InternVL3-2B-Tuned 는 **전체 전략 정확도 약 80~86%**를 기록하여 모든 베이스라인을 압도함.
  • Level별 성능: 학습된 모델은 Level 1(문맥 추론), Level 2(대안 나열), Level 3(명확화 요청) 에서 모두 높은 정확도를 보이며, 특히 Level 3 에서 명확화 요청을 올바르게 수행함.

• 오류 패턴 분석 (Section 6.2):

  • 기저 모델: 모호함 regardless 로 항상 "단일 정답" (Level 0) 을 출력하는 편향 (Bias) 이 강함.
  • 학습된 모델: Level 1 과 Level 2, Level 3 사이의 경계에서 혼란이 발생하거나, 시각적 주안점 (Salience) 에 의해 잘못된 대상을 선택하는 오류가 주로 발생. 하지만 전반적으로 인간과 유사한 전략적 판단을 함.

• 명확화 효과 (Section 6.3):

  • Level 3 상황에서 모델이 명확화를 요청한 후, 추가 힌트를 받으면 80% 이상의 높은 정확도로 정답을 도출함. 이는 명확화 전략의 유효성을 입증.

• 일반화 (Generalization):

  • COCO 데이터로 학습된 모델이 Open Images V7 데이터에서도 유사한 성능을 보이며, 데이터셋에 구애받지 않는 일반화 능력을 가짐.

5. 의의 및 결론 (Significance)

이 연구는 VQA 분야에서 모호함 처리 (Ambiguity Handling) 가 단순한 '질문하기 vs 답하기'의 이분법을 넘어, 상황에 따른 전략적 선택 (Strategic Response Generation) 이 필요함을 증명했습니다.

• 실용성: 실제 인간 대화에서는 모호함의 정도에 따라 문맥을 추론하거나, 여러 가능성을 제시하거나, 질문을 되돌리는 등 유연하게 대응합니다. AQUA 는 이러한 인간적인 상호작용 능력을 VLM 에 심어줍니다.
• 모델 효율성: 거대하고 비용이 많이 드는 폐쇄형 모델보다, 상대적으로 작은 오픈소스 모델을 전략적으로 학습시키는 것이 모호한 상황에서는 더 효과적임을 보여줍니다.
• 미래 방향: 현재 VLM 들이 가진 '과신'과 '전략적 유연성 부재' 문제를 해결하기 위한 새로운 학습 패러다임 (SFT + GRPO) 을 제시하며, 불확실성 관리에 대한 연구의 중요성을 강조합니다.

결론적으로, rAQUA 는 모호한 시각적 질문에 대해 모델이 언제, 어떻게, 왜 특정 응답 전략을 선택해야 하는지를 학습하고 평가할 수 있는 핵심 인프라를 제공하며, 보다 인간적이고 지능적인 VLM 개발의 토대가 됩니다.