기술 요약: 지각 검증 기반 자기 학습을 통한 시각-언어 모델의 추론 능력 향상

문제 정의

시각-언어 모델(VLM)에서 인간과 유사한 추론 능력을 달고하는 것은 중대한 과제입니다. 인간 주석가나 독점 모델(예: GPT-4V)이 생성한 연쇄 사고(Chain-of-Thought, CoT) 논거는 추론 능력을 개선해 왔으나, 이러한 방식은 비용이 많이 들고 확장하기 어렵습니다. 모델 자신의 출력을 감독 신호로 활용하는 자기 학습(Self-training)은 확장 가능한 대안을 제공합니다. 그러나 기존의 VLM용 자기 학습 방식(예: STaR, R3V)은 일반적으로 최종 정답의 정답 여부만을 기준으로 학습 샘플을 필터링합니다. 이러한 전략은 중간 추론 단계를 검증하지 못하므로 다음과 같은 두 가지 결정적인 실패 모드를 초래합니다:

1. 시각적 환각(Visual Hallucinations): 논거가 이미지에 존재하지 않는 객체, 속성 또는 장면을 설명함.
2. 언어적 지름길(Language Shortcuts): 예측이 진정한 시각적 근거(grounding)가 아닌 텍스트의 사전 지식이나 통계적 상관관계에 의존함.

결과적으로, 이러한 데이터로 학습된 모델은 잘못된 이유로 정답을 맞히는 법을 배우게 되며, 미세 조정(fine-tuning) 과정에서 오류와 환각을 전파하게 됩니다.

방법론

저자들은 구조화된 2단계 커리큘럼 학습 전략을 통해 시각적으로 근거가 있는 추론을 강제하도록 설계된 지각 검증 자기 학습(Perception Verified Self-Training) 프레임워크를 제안합니다.

1. 지각과 추론의 분리

프레임워크는 구조화된 캡션-추론-결론(Caption-Reasoning-Conclusion, CRC) 템플릿을 채택합니다. 모델은 단일한 논거를 생성하는 대신 다음을 출력하도록 유도됩니다:

• 캡션(Caption): 시각적 콘텐츠에 대한 묘사적 해석.
• 추론(Reasoning): 캡션을 바탕으로 한 논리적 연역.
• 결론(Conclusion): 최종 정답.
  이러한 구조를 통해 지각 구성 요소(캡션)를 추론 및 결론과 독립적으로 검증할 수 있습니다.

2. PerceptEval: 비지도형 캡션 검증

자기 학습을 위한 정답 캡션(ground-truth captions)을 사용할 수 없으므로, 저자들은 캡션 품질을 평가하기 위한 비지도 학습 모듈인 PerceptEval을 도입합니다. 이는 두 가지 상호 보완적인 신호를 활용합니다:

• OCR 기반 텍ext 일치도: 텍스트가 포함된 이미지의 경우, PaddleOCR을 사용하여 가시적인 텍스트를 추출합니다. 생성된 캡션과 OCR로 추출된 텍스트 사이의 의미론적 유사도를 Sentence-Transformers를 사용하여 계산합니다.
• 시각적 일치도: 생성된 캡션과 이미지 사이의 유사도를 시각적 요소 묘사에 집중하는 FG-CLIP을 사용하여 측정합니다.
• 도메인 인지형 공동 평가: 텍스트와 시각적 콘텐츠의 비율 변화를 처리하기 위해, 프레임워크는 텍스트 영역 커버리지 비율에 따라 유사도 임계값을 적응적으로 조정합니다. 캡션은 두 임계값을 모두 만족해야만 수용됩니다.

3. 데이터 분할 및 커리큘럼 학습

캡션 품질(PerceptEval을 통해)과 정답 여부에 기초하여 데이터셋을 세 가지 하위 집합으로 분할합니다:

• 쉬움(Easy): 올바른 캡션 AND 올바른 결론.
• 중간(Medium): 올바른 캡션 BUT 틀린 결론.
• 어려움(Hard): 틀린 캡션 (폐기).

학습은 두 단계로 진행됩니다:

• 1단계 (쉬운 샘플): 모델은 "쉬움" 샘플에 대해서만 미세 조정을 수행합니다. 이는 지각적으로 근거가 있는 추론의 베이스라인을 구축합니다.
• 2단계 (캡션 가이드 추론 강화): 모델은 "중간" 샘플을 해결하려고 시도합니다. 이 경우, 초기 생성된 검증된 캡션이 보조 컨텍스트로 주입되어 모델이 추론 과정을 재생성하도록 유도합니다. 재생성된 샘플 중 올바른 결론을 도출하는 샘플만이 유지됩니다. 이렇게 강화된 샘플들은 "쉬움" 집합과 병합되어 추가 미세 조정에 사용됩니다.

이 단계적 접근 방식은 모델이 복잡한 추론 과제를 다루기 전에 시각적 지각을 먼저 마스터하도록 보장하며, 학습 초기 단계에서 어려운 예시에 의해 모델이 압도되는 것을 방지합니다.

주요 기여

1. 지각 검증 자기 학습 프레임워크: 분리된 생성 프로세스를 강제함으로써 VLM의 시각적 지각과 추론을 공동으로 향상시키는 새로운 파이프라인을 제시합니다.
2. PerceptEval: 정답 캡션 없이도 시각적 및 텍스트적 요소가 충실히 포착되었는지 확인하는, 생성된 이미지 캡션을 평가하기 위한 비지도 메트릭입니다.
3. 캡션 가이드 추론 강화: 검증된 캡션을 컨텍스트로 사용하여 "중간 난이도" 샘플의 추론 오류를 수정하고, 실패 사례를 효과적으로 학습 데이터로 전환하는 메커니즘입니다.
4. 2단계 커리큘럼 학습: 쉬운 검증된 예시를 바탕으로 모델이 구축될 수 있도록 하여, 중간 난이도의 샘플을 점진적으로 통합함으로써 반복적인 자기 학습을 안정화하는 전략입니다.

실험 결과

프레임워크는 M3CoT 데이터셋을 사용하여 네 가지 도메인(상식, 자연 과학, 언어 과학, 사회 과학)에서 평가되었으며, LLaVA-v1.5 (7B 및 13B)와 Qwen2-VL-7B 모델에 대해 테스트되었습니다.

• 성능 향상: 제안된 방법은 표준 자기 학습 베이스라인(STaR 및 R3V) 대비 최대 **16%**의 성능 향상을 달연했습니다. 예를 들어, LLaVA-v1.5-7B에서 이 방법은 언어 과학에서 64.93%, 상식 분야에서 **72.74%**의 정확도를 기록하며, STaR(48.82% 및 64.98%)와 R3V(50.24% 및 65.49%)를 크게 앞질렀습니다.
• 일반화: 이 방법은 OOD(Out-of-Distribution) 작업에서도 견고함을 입증하였으며, MMMU 과학 검증 분할에서 다른 자기 학습 방법들보다 가장 높은 정확도(36.48%)를 달성했습니다.
• 정성적 개선: 정성적 분석 결과, 베이스라인 모델들은 종종 환각된 묘사(예: 존재하지 않는 객체 식인)를 생성하거나 언어적 지름길에 의존한 반면, 제안된 방법은 시각적으로 상세하면서도 논리적으로 일관된 논거를 생성했습니다.
• 토큰 효율성: 이 방법은 R3V가 훨씬 더 길고 장황한 응답을 생성하는 것과 달리, 명시적 추론과 효율성 사이의 균형을 맞춘 적절한 길이의 출력(69.2~93.9 토큰)을 생성했습니다.

의의 및 주장

본 논문은 제안된 프레임워크가 수동으로 주석을 단 CoT 논거 없이도 멀티모달 추론을 발전시킬 수 있는 확장 가능하고 비용 효율적인 솔루션을 제공한다고 주장합니다. 지각과 추론을 명시적으로 분리하고 시각적 근거를 기준으로 학습 데이터를 엄격하게 필터링함으로써, 이 프레임워크는 시각적 환각과 언어적 지름길의 전파를 완화합니다. 저자들은 이러한 접근 방식이 텍스트의 사전 지식이 아닌 시각적 증거에 의존하는 VLM을 개발하는 데 필수적이며, 더 정확하고 신뢰할 수 있는 멀티모달 추론을 향한 신뢰할 수 있는 경로를 제공한다고 강조합니다.