Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning

기술 요약: 자기 질문형 시각-언어 모델 (Self-Questioning Vision-Language Models)

문제 정의
시각-언어 모델(VLM)은 객체 식별이나 장면 묘사와 같은 직접적인 패턴 인식 작업에는 뛰어나지만, **구성적 시각 추론(compositional visual reasoning)**에는 어려움을 겪습니다. 이는 여러 단계의 중간 연산을 체이닝해야 하는 다단계 문제(예: 여러 객체의 위치를 찾고, 개수를 세고, 그 결과를 비교하는 것)를 의미합니다. 이러한 추론을 개선하기 위한 기존 방식들은 인간이 작성한 단계별 설명(예: Chain-of-Thought 프롬프팅 또는 지도 미세 조정)에 크게 의존하는데, 이는 생성 비용이 많이 들고 확장하기 어렵습니다. 또한, 시각적 프로그래밍 방식은 사전 정의된 도구 라이브러리에 의존하므로 새로운 유형의 질문에 대한 일반화 능력이 제한됩니다. 핵심 과제는 명시적인 인간의 시연 없이도 VLM이 중간 추론 단계를 발견하고 활용할 수 있도록 하는 것입니다.

방법론
저자들은 **그룹 상대 정책 최적화(GRPO)**라는 강화 학습(RL) 알고리즘을 통해 훈련된 **자기 질문 프레임워크(self-questioning framework)**를 제안합니다. 이 프레임워크는 다음과 같이 작동합니다:

• 모델 아키텍처: 본 연구에서는 Qwen2.5-VL-3B-Instruct(30억 파라미터 규모의 VLM)를 활용합니다. 제한된 하드웨어에서 훈련을 가능하게 하기 위해, 저자들은 원래의 가중치는 고정한 채 1% 미만의 파라미터만을 업데이트하는 저차원 적응(LoRA) 기법을 사용합니다.
• 훈련 목표: 최종 답변에만 보상을 주는 표준 RL과 달리, 이 프레임워크는 구조화된 출력 형식을 강제합니다. 모델은 <final-answer>를 생성하기 전에 <sub-question>과 <sub-answer> 쌍의 시퀀스를 생성하도록 유도됩니다.
• 보상 함수: 보상 신호는 이진(binary)이며 엄격합니다. 모델의 완성본은 다음 두 가지 조건을 모두 충족할 때만 +1.0의 보상을 받습니다: (1) 최소 하나 이상의 쌍을 포함하여 sub-question/answer 형식을 엄격히 준수할 것, (2) 최종 답변이 정답과 일치할 것. 그렇지 않으면 -1.0을 받습니다.
• 인간의 시연 없음: 결정적으로, 모델은 질문을 어떻게 분해하는지에 대한 예시를 전혀 보여주지 않습니다. 질문을 하위 질문으로 분해하는 행동은 형식 준수와 정답 여부를 장려하는 보상 신호로부터 오로지 창발(emerge)되어야 합니다.
• 베이스라인 비교: 자기 질문 형식이 일반적인 RL의 이점으로부터 오는 효과인지 격리하기 위해, 저자들은 Direct+GRPO 베이스라인을 훈련합니다. 이 모델은 동일한 GRPO 알고리즘과 데이터셋을 사용하지만, 직접적인 답변만을 제공하도록 프롬프트가 구성되며, 답변의 정확성과 간결함만을 확인하는 보상 함수를 사용합니다.

핵심 기여

1. 창발적 분해: 본 논문은 VLM이 인간이 작성한 추론 흔적 없이도 순수하게 강화 학습을 통해 구성적 시각 질문을 하위 질문-답변 쌍으로 분해하는 법을 배울 수 있음을 입증합니다.
2. GRPO의 첫 적용: 본 연구는 텍스트 전용 LLM(DeepSeek-R1 등)에서 사용되던 그룹 상대 정책 최적화(GRPO)를 멀티모달 환경에 맞춰 적용하여, 시각-언어 모델에 GRPO를 적용한 첫 사례입니다.
3. 구조에 대한 보상: 저자들은 중간 단계의 분해가 결여되었을 때 명시적으로 벌점을 주는 보상 함수를 도입하여, 문제의 구조적 분해를 정답의 정확성과 함께 주요 훈련 목표로 설정했습니다.

실험 결과
프레임워크는 두 가지 벤치마크인 CLEVR(합성 기하학적 장면)와 A-OKVQA(외부 지식이 필요한 실제 사진)에서 평가되었습니다.

• RL을 통한 정확도 향상: Self-Questioning(SQ)과 Direct RL 모델 모두 훈련되지 않은 베이스 모델보다 A-OKVQA에서 유의미하게 높은 성능을 보였습니다. 베이스 모델은 **46.8%**의 정확도를 기록한 반면, Direct+GRPO는 51.6%, SQ+GRPO는 **52.2%**를 달 기록했습니다.
• 자기 질문의 미미한 이점: A-OKVKA에서 자기 질문 형식은 표준 Direct RL 대비 단 **+0.6%**의 미미한 이득만을 제공했습니다. 저자들은 향상된 부분(+4.8%)의 대부분이 (모델이 정답을 맞히도록 편향시키는) RL 훈련 신호 자체에서 기인했다고 결론지었습니다.
• 교차 도메인 전이: 중요한 발견은 분해 전략의 전이 가능성입니다. 자기 질문 방식을 사용하여 합성 CLEVR 데이터로 훈련된 모델은 실제 세계의 A-OKVQA 이미지 테스트 시 **+2.6%**의 성능 향상을 보였습니다. 반면, CLEVR로 훈련된 Direct+GRPO 모델은 A-OKVQA에서 **+0.2%**의 향상만을 보였습니다. 이는 질문을 분해하는 전략이 특정 정답 수준의 강화 학습보다 더 잘 전이되는 도메인 일반적인 기술임을 시사합니다.
• 단순 작업에서의 포맷 세금(Format Tax): CLEVR와 같은 더 단순한 작업에서 자기 질문은 "포맷 세금"을 유발했습니다. SQ 훈련 모델은 sub-question 프롬프트를 강제했을 때 CLEVR에서 **81.0%**로 정확도가 떨어졌으나(베이스 모델은 97.4%), 직접 프롬프트로 평가했을 때는 정확도가 **97.6%**로 회복되었습니다. 이는 모델의 시각적 능력은 온전하지만, 단순한 쿼리에 불필요한 분해 과정이 오버헤드로 작용했음을 나타냅니다.

의의 및 주장
본 논문은 AI 시스템에게 중간 질문을 스스로 던지도록 가르치는 것이 복잡한 시각적 추론, 특히 단계별 분해가 필요한 난이도의 질문에 있어 유망한 전략이라고 주장합니다.

• 확장성: 이 프레임워크는 분해 행동이 보상 신호만으로 창발되므로, 다단계 추론을 위한 비용이 많이 드는 인간 주석 작업의 확장 가능한 대안을 제공합니다.
• 조건부 가치: 저자들은 자기 질문의 가치가 질문의 복잡성에 따라 달라짐을 겸허히 언급합니다. 이는 다단계 추론(예: 개수 세기, 재질 식별)이 필요한 작업에는 명확한 이점을 제공하고 도메인 간 전이를 용이하게 하지만, 분해가 불필요한 노이즈를 생성하는 단순한 작업에서는 성능을 저하시킬 수 있습니다.
• 향 향후 방향: 결과는 자율 주행이나 의료 영상과 같은 안전 중심 분야의 실질적인 배포 시, 질문의 복잡도가 오버헤드를 정당화할 만큼 높은 경우에만 선택적으로 자기 질문을 적용하는 **적응형 프롬프팅 전략(adaptive prompting strategies)**이 유용할 수 있음을 시사합니다.