기술 요약: 사고 학습 (VISTA)

문제 정의

명시적 추론 흔적 (Chain-of-Thought) 을 가진 사후 학습 멀티모달 대규모 언어 모델 (MLLM) 은 추론 능력을 향상시키는 데 효과적인 것으로 입증되었습니다. 그러나 고품질 추론 흔적을 획득하는 것은 비용이 많이 들고 시간이 소요되므로, 모델이 자체적으로 학습 데이터를 생성하는 자기 개선 패러다임이 채택되었습니다. 이러한 방법들이 효과적이기는 하지만, 저자들은 현재 MLLM 자기 개선 학습에서 두 가지 치명적인 단점을 파악했습니다:

1. 데이터 불균형: 단순한 쿼리는 많은 수의 올바른 추론 흔적을 산출하는 반면, 중요하지만 까다로운 쿼리는 종종 충분한 올바른 해법을 생성하지 못합니다. 표준 자기 개선 방법은 실패한 시도를 완전히 폐기하여 잠재적으로 유용한 부분 정보를 낭비합니다.
2. 언어 사전 편향: MLLM 은 시각적 단서를 소홀히 하면서 언어적 사전 지식에 과도하게 의존하는 경향이 있습니다. 이는 시각적 환각(예: 존재하지 않는 물체를 묘사하거나 상충되는 추론 체인) 으로 이어져 최종 답은 정확하지만 중간 추론 과정은 결함이 있는 결과를 초래합니다. 오직 정답의 정확성만을 기준으로 하는 현재 필터링 방법은 이러한 환각된 해법을 탐지하지 못합니다.

방법론: VISTA 프레임워크

이러한 문제들을 해결하기 위해 저자들은 VISTA(Vision-aware Self-improvement Training, 시각 인식 자기 개선 학습) 라는 프레임워크를 제안하며, 이는 두 가지 새로운 전략으로 구성됩니다:

1. 접두사 재샘플링 전략 (Prefix Resampling Strategy)

실패한 해법에서 부분 정보를 재사용하여 데이터 불균형을 완화하도록 설계됨:

• 메커니즘: 잘못된 해법 ($D_n$) 을 폐기하는 대신, 추론 궤적이 이탈하는 "중요 토큰"을 식별합니다. 입력에서 시각 토큰과 지시 토큰의 순서를 바꾸는 (예: "이미지 + 지시"에서 "지시 + 이미지"로) 방식으로 모델의 자기 보정 능력을 활용하여 토큰 예측을 다시 생성합니다.
• 실행: 변경된 컨텍스트의 Top-5 예측과 일치하지 않는 원래 실패한 흔적의 첫 번째 토큰을 중요한 토큰으로 식별합니다. 추론 흔적은 이 지점에서 잘리고, 유효한 접두사는 새로운 해법을 재샘플링하기 위한 컨텍스트로 재사용됩니다 ($J$회).
• 결과: 실패한 시도에서 올바른 초기 추론 단계를 구출함으로써 까다로운 쿼리에 대한 더 많은 올바른 해법을 효율적으로 수집합니다.

2. 시각 인식 어텐션 점수 (Vision-Aware Attention Score, VAS)

언어 사전 편향을 완화하고 환각된 해법을 필터링하도록 설계됨:

• 메커니즘: 모델의 중간 계층에서 내부 어텐션 점수를 분석하여 추론 과정에서 모델이 시각 정보에 얼마나 집중하는지 정량화합니다.
• 계산: 올바른 해법의 경우, 시스템 토큰, 시각 토큰, 지시 토큰에 대한 어텐션 할당 ($\lambda$) 을 측정합니다. VAS는 모든 컨텍스트에 대한 총 어텐션 대비 시각 토큰에 할당된 어텐션의 정규화된 비율로 계산됩니다.
• 필터링: 특정 임계값 ($\tau$) 미만의 VAS 점수를 가진 해법은 필터링됩니다. 이를 통해 학습 데이터셋이 시각적 단서에 진정으로 주의를 기울인 해법을 우선시하도록 보장하여, 우연히 정답을 도출하는 환각된 추론으로 학습할 위험을 줄입니다.

이 프레임워크는 지도 미세 조정 (SFT) 및 선호도 학습 (DPO/GRPO) 을 포함한 표준 사후 학습 파이프라인에 이러한 전략들을 통합합니다.

주요 기여

1. 문제 식별: 본 논문은 MLLM 자기 개선이 데이터 불균형 (어려운 쿼리에 대한 과소 학습) 과 언어 사전 편향 (정답으로 가려진 시각적 환각) 으로 고통받고 있음을 경험적으로 규명합니다.
2. VISTA 프레임워크: 외부 감독이나 정답 추론 흔적이 필요 없는 자기 개선 프레임워크를 제안합니다. 접두사 재샘플링을 통해 어려운 쿼리에 대한 데이터 효율성을 극대화하고, VAS를 통해 시각적 환각을 필터링하여 데이터 품질을 보장합니다.
3. 일반화 가능성: 이러한 전략들이 모델에 구애받지 않으며 다양한 MLLM(예: Qwen2.5-VL, InternVL) 과 사후 학습 패러다임 (SFT, DPO, GRPO) 에 적용 가능함을 입증합니다.

실험 결과

다양한 멀티모달 추론 벤치마크 (SLAKE, VQA-Rad, Geometry3K, ScienceQA, ChartQA) 에서 다섯 가지 MLLM 을 대상으로 광범위한 실험이 수행되었습니다.

• 성능 향상: VISTA 는 기존 자기 개선 방법 (STaR, ReSTEM, R3V 등) 보다 크게 우수한 성과를 거두었습니다. Qwen2.5-VL-3B-Instruct 모델의 경우, VISTA 는 초기 시드 모델 대비 평균 **+13.66%**의 성능 향상을 달성했습니다.
• 견고성: 이 방법은 다른 반복적 자기 학습 방법에서 관찰된 "모델 붕괴"(단순한 데이터에 대한 과적합으로 인한 성능 저하) 를 효과적으로 방지하며, 특히 Geometry3K 와 같은 어려운 작업에서 두드러집니다.
• 환각 감소: VISTA 로 학습된 모델은 벤치마크 대비 IllusionBench에서 시각적 환각이 감소한 것을 보여줍니다.
• 분포 외 (OOD) 일반화: VISTA 로 학습된 모델은 분포 외 데이터셋 (PathVQA, MathVista, MMMU) 에서 향상된 일반화를 보여주지만, 기존 방법들은 학습 반복이 증가함에 따라 성능 저하를 겪는 경우가 많습니다.
• 호환성: 이 접근법은 Self-Consistency 와 같은 추론 시간 방법과 호환되어 결합 시 추가적인 성능 향상을 가져옵니다.

의의 및 주장

본 논문은 VISTA 가 MLLM 의 현재 자기 개선 학습 한계에 대한 간단하면서도 효과적인 해결책을 제공한다고 주장합니다. 정답의 정확성을 유일한 품질 신호로 삼는 것을 넘어감으로써, VISTA 는 자기 학습 데이터의 다양성과 신뢰성을 보장합니다. 저자들은 그들의 방법이 다음과 같음을 강조합니다:

• 값비싼 외부 추론 흔적 없이 MLLM 의 내부 추론 능력을 해방합니다.
• 추론 흔적에서 시각적 환각의 근본 원인을 직접적으로 해결합니다.
• 다양한 모델 크기와 작업에 걸쳐 멀티모달 추론을 개선할 수 있는 확장 가능한 경로를 제공하며, 자기 개선 기준선 중에서 최첨단 결과를 달성합니다.

저자들은 중요한 토큰이 추론 체인의 후반부에 나타날 경우 궤적 다양성에 잠재적인 제한이 있을 수 있으며, 현재 평가가 상대적으로 작은 규모 모델 (3B-8B) 에 국한되어 있어 더 큰 규모의 검증은 향후 과제로 남긴다는 한계를 지적합니다.