Online Self-Calibration Against Hallucination in Vision-Language Models

"시각-언어 모델에서의 환각에 대한 온라인 자기 보정 (OSCAR)"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 시각 - 언어 모델 (LVLM) 은 종종 환각으로 고통받으며, 입력 이미지에 존재하지 않는 시각적 세부 사항 (예: 존재하지 않는 객체, 잘못된 속성) 을 포함하는 설명을 생성합니다.

• 현재 방법의 한계: 최근 접근 방식은 강력한 교사 모델 (예: GPT-4) 이나 인간 주석에서 증류된 감독을 사용하는 오프라인 선호도 정렬 (예: RLHF, DPO) 에 의존합니다.
• 핵심 문제: 감독 - 지각 불일치: 이 논문은 약한 학생 모델을 강력하고 세밀하며 고충실도인 교사 모델의 설명과 정렬시키려는 시도가 불일치를 초래한다고 주장합니다. 학생 모델은 이러한 세부 사항을 검증할 지각 능력이 부족하여, 이미지를 '보는' 대신 언어적 사전 지식에 기반해 '추측'하게 됩니다. 역설적으로 모델이 지각할 수 없는 근거 없는 세부 사항을 모방하도록 학습함에 따라 환각 발생률이 증가합니다.

2. 주요 관찰 및 동기

저자들은 문제를 해결하기 위해 두 가지 중요한 현상을 식별했습니다:

1. 감독 - 지각 불일치: 실험 결과, 더 강력한 모델 (Qwen3-VL) 에서 증류된 데이터로 LLaVA-1.5 를 파인튜닝하면 오히려 기존 모델 대비 환각 벤치마크 (예: POPE, CHAIR) 에서 성능이 저하되는 것으로 나타났습니다. 모델은 교사의 지각 불가능한 세부 사항과 일치시키기 위해 환각을 학습합니다.
2. 생성 - 판별 간극: LVLM 은 개방형 생성과 판별적 검증 사이에 상당한 성능 격차를 보입니다.
   • 생성: 모델은 종종 '언어 관성'에 굴복하여 프롬프트 기대치를 충족시키기 위해 객체를 환각합니다.
   • 검증: 명시적으로 "이미지에 객체 X 가 있는가?"라고 질문받으면, 동일한 모델은 객체 부재를 정확히 식별하는 훨씬 높은 정확도를 보입니다.
   • 시사점: 모델은 표준 생성 과정에서 충분히 활용되지 않는 잠재적 자기 검증 능력을 보유하고 있습니다.

3. 방법론: OSCAR 프레임워크

저자들은 감독 - 지각 불일치를 피하면서 모델의 자체 판별 능력을 활용하여 고품질 훈련 데이터를 온라인으로 생성하는 온라인 자기 보정 (OSCAR) 프레임워크를 제안합니다.

A. MCTS 기반 생성

표준 탐욕적 (greedy) 또는 빔 서치 대신, OSCAR 은 생성 공간을 탐색하기 위해 **몬테카를로 트리 검색 (MCTS)**을 사용합니다. 이를 통해 국소적으로는 안전해 보이지만 하류에서 환각을 초래할 수 있는 토큰을 식별하는 '선도 (lookahead)'가 가능해집니다.

• 상태: 부분 응답 (문장).
• 행동: 다음 문장 생성.
• 검색 단계: 선택 (PUCT 기준), 확장 (후보 샘플링), 평가 (보상 메커니즘), 역전파.

B. 이중 세분도 보상 메커니즘

MCTS 를 안내하기 위해 국소적 충실도와 전반적 품질을 균형 있게 조절하는 새로운 보상 시스템이 설계되었습니다:

1. 프로세스 보상 (노드 레벨):
   • 생성된 모든 문장에 대해 모델이 판별자 역할을 하도록 프롬프트합니다: "이 문장은 이미지에 존재하지 않는 객체를 언급하고 있는가?"
   • 보상은 모델이 "아니오"라고 답할 확률 (즉, 문장이 환각이 없음을 나타냄) 입니다.
   • 목표: 미래의 환각을 유발할 위험이 있는 초기 토큰을 억제합니다.
2. 게이트된 결과 보상 (궤적 레벨):
   • 추출된 객체를 기준 진실 (ground truth) 과 비교하는 엄격한 충실도 검사를 통과한 경우에만 전체 응답을 평가합니다.
   • 궤적에 환각이 포함되어 있으면 보상은 0입니다.
   • 통과하면 품질 점수 (논리적 일관성, 유창성, 중복성) 가 할당됩니다.
   • 목표: 최종 출력이 사실에 기반하면서도 고품질임을 보장합니다.

C. 반복적 선호도 학습 (DPO)

• 데이터 구성: 선호도 쌍은 MCTS 트리에서 추출됩니다:
  • 전체 경로: 가장 높은 가치를 가진 궤적 (선택됨) 대 가장 낮은 가치를 가진 궤적 (거부됨) 비교.
  • 형제 비교: 특정 깊이에서의 최적 노드 대 가장 성능이 낮은 형제 노드 비교.
• 학습: 모델은 **직접 선호도 최적화 (DPO)**를 사용하여 업데이트됩니다.
• 온라인 루프: 업데이트된 모델이 다음 반복에서 새로운 선호도 데이터를 생성하여, 모델의 향상된 지각 경계에 따라 훈련 분포가 진화하는 선순환을 만듭니다.

4. 주요 기여

1. 불일치 식별: 강력한 교사 모델로부터의 오프라인 증류가 감독 - 지각 불일치로 인해 환각을 악화시킬 수 있음을 실험적으로 입증했습니다.
2. OSCAR 프레임워크: 생성 - 판별 간극을 활용하는 새로운 학습 패러다임을 제안했습니다. MCTS 와 이중 세분도 보상을 통합함으로써 모델이 선도를 통해 환각을 유발하는 토큰을 스스로 수정하고 억제할 수 있게 합니다.
3. 최고 수준의 성능: 환각 벤치마크에서 SOTA 결과를 달성함과 동시에 일반적인 멀티모달 이해 능력을 동시에 향상시켰습니다.

5. 실험 결과

실험은 **LLaVA-1.5 (7B 및 13B)**를 대상으로 여러 벤치마크 (Object-HalBench, AMBER, MM-VET, POPE) 에서 수행되었습니다.

• 환각 감소:
  • LLaVA-1.5-7B에서 OSCAR 은 CHAIRs를 49.0 에서 27.6으로, CHAIRi를 14.3 에서 8.2로 감소시켰습니다.
  • LLaVA-1.5-13B에서는 개선이 더욱 극적이어서 CHAIRs 가 44.8 에서 5.4로 감소했습니다 (87.9% 감소).
• 일반 능력: 정확성을 위해 유창성을 희생하는 기존 방법과 달리, OSCAR 은 7B 모델의 MM-VET 점수 (일반 멀티모달 이해) 를 32.5 에서 34.6으로 향상시켰습니다.
• 반복적 개선: 3 회 반복에 걸쳐 성능이 지속적으로 향상되어 온라인 자기 보정 루프의 유효성을 입증했습니다.
• Ablation 연구: 세 가지 구성 요소 (프로세스 보상, 게이트된 결과 보상, MCTS) 가 모두 필수적임을 확인했습니다. MCTS 나 특정 보상 메커니즘을 제거하면 성능이 크게 저하되었습니다.
• SFT 와의 비교: OSCAR 으로 구축된 데이터를 사용한 SFT 는 환각을 증가시킨 교사 증류 데이터를 사용한 SFT 와 모델의 자체 원시 생성을 사용한 SFT 보다 훨씬 우수한 성능을 보였습니다.

6. 의의

이 논문은 LVLM 환각을 완화하는 패러다임 전환을 제시합니다:

• 오프라인에서 온라인으로: 잠재적으로 불일치하는 외부 감독에 의존하는 것에서 자기 감독형 온라인 학습으로 이동합니다.
• 지각 경계 존중: 훈련 데이터는 모델의 고유한 지각 한계를 존중해야 함을 강조합니다. 모델이 볼 수 없는 것을 설명하도록 강요하면 실패로 이어지지만, 본인이 보는 것을 검증하도록 하면 성공으로 이어집니다.
• 자기 수정: LVLM 은 판별적 프롬프팅과 MCTS 를 통해 잠식된 자기 출력 검증 능력을 보유하고 있으며, 이를 통해 외부 인간이나 교사 레이블 없이 지속적인 자기 개선이 가능함을 입증했습니다.