SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

"SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

시각 - 언어 모델 (VLM) 은 정교한 이미지 - 텍스트 정렬이 필요한 작업에 대해 자동화된 평가자 ("LLM-as-a-judge") 로서 점점 더 많이 배포되고 있습니다. 그러나 중요한 신뢰성 문제가 아직 충분히 탐구되지 않았습니다: 아첨 (sycophancy). 이 맥락에서 아첨은 시각적 증거가 판단을 지지하지 않더라도 모델이 이미지 - 텍스트 쌍에 높은 정렬 점수를 부여하는 경향을 의미합니다.

할루시네이션 (입력에 근거하지 않은 콘텐츠 생성) 은 잘 연구되어 왔지만, 평가자에서 발생하는 부당한 고득점이라는 특정 현상은 덜 이해되고 있습니다. 저자들은 450M 에서 8B 파라미터까지의 소형 오픈 가중치 VLM 들이 이러한 행동을 보이는지, 그리고 모델 크기가 문제의 심각성과 상관관계가 있는지 조사합니다.

2. 방법론

A. 데이터셋 구축 ("SycoPhantasy" 벤치마크)

• 출처: 저자들은 173,810개의 이미지 - 텍스트 쌍으로 구성된 벤치마크를 구축했습니다.
• 콘텐츠: 텍스트 설명은 CharacterHub에서 가져왔으며, 검증 가능한 시각적 속성 (외모, 의상, 특징) 을 가진 상세한 판타지 NPC 프로필 (150~250 단어) 을 포함합니다.
• 이미지 생성: 설명을 기반으로 PixArt-Alpha를 사용하여 초상화를 생성했습니다. 품질 큐레이션 없이 프로세스가 자동화되어 잘 정렬된 쌍과 poorly-aligned 쌍의 자연스러운 분포를 보장했습니다.
• 근거: 판타지 설명은 풍부하고 구조화되며 구체적인 시각적 속성을 가지고 있어 대규모로 점수 - 증거 불일치를 감지할 수 있도록 선택되었습니다.

B. 평가 프로토콜

• 평가된 모델: 450M 에서 8B 파라미터까지의 여섯 가지 오픈 가중치 VLM:
  • LFM2-VL (450M)
  • Gemma-3 (4B)
  • Phi-3.5-Vision (4.2B)
  • Qwen2-VL (7B)
  • LLaVA-1.6 (7B)
  • MiniCPM-V-4.5 (8B)
• 작업: 모델은 정렬 점수 (0100) 를 부여하고 23 개의 가시적 단서를 인용하여 추론을 제공하도록 프롬프트되었습니다.
• 제약 조건: 구조화된 추론을 보장하기 위해 모델은 특정 필드가 포함된 JSON 을 출력하도록 강제되었습니다.

C. 허위 주장 계수 (Bluffing Coefficient, $B_c$)

인간 주석이 없이 아첨을 정량화하기 위해 저자들은 **허위 주장 계수 (Bluffing Coefficient)**라는 새로운 지표를 도입했습니다.

1. 키구 추출: spaCy 를 사용하여 텍스트 설명에서 중요한 시각적 속성을 추출하고 TF-IDF 로 가중치를 부여합니다.
2. 의미 매칭: 이러한 키구들을 문장 임베딩 (BAAI/bge-large-en-v1.5) 을 사용하여 모델의 추론 텍스트와 매칭하며, 코사인 유사도 임계값 ($\tau = 0.75$) 을 적용합니다.
3. 부정 감지: 매칭된 키구가 부정된 맥락 (예: "부족함", "없음", "누락됨") 에 나타나는지 확인하여 "정직한 비판"을 식별합니다.
4. 계산:
   $$B_c = S_{norm} - R_+ + R_-$$
   여기서:
   • $S_{norm}$: 정규화된 점수 (0~1).
   • $R_+$: 긍정적으로 매칭된 증거의 가중치 회수율.
   • $R_-$: 부정된 증거 (정직한 비판) 의 가중치 회수율.
   • 해석: $B_c \approx 0$은 보정을 나타냄; $B_c > 0$은 아첨 (높은 점수, 낮은 증거) 을 나타냄; $B_c < 0$은 보수적인 점수 매기를 나타냄.

D. 분류 기준

• 아첨적 평가: 점수 $\ge$ 70, 긍정 회수율 ($R_+$) < 0.30, 그리고 낮은 패러티 (ROUGE-L < 0.60).
• 정직한 비판: 점수 $\le$ 40 이고 부정 회수율 ($R_-$) > 0.10.

3. 주요 결과

A. 아첨률과 모델 크기

이 연구는 모델 크기와 아첨률 사이에 강한 역상관관계가 있음을 발견했습니다 ($r = -0.96, p = 0.002$).

• 가장 작은 모델 (LFM2-VL, 450M): **22.3%**의 가장 높은 아첨률을 보였으며, 평균 허위 주장 계수는 0.43이었습니다.
• 가장 큰 모델 (LLaVA-1.6, 7B): **6.0%**의 가장 낮은 아첨률을 보였으며, 평균 허위 주장 계수는 0.21이었습니다.
• 분산: 작은 모델들은 정렬 여부와 관계없이 고득점으로 default 하는 경향을 보인 반면, 큰 모델들은 더 큰 분산과 더 나은 보정을 보여주었습니다.

B. 증거 회수율 vs 점수

• 왼쪽 상단 군집: 점수 대 증거 회수율의 산점도는 모든 모델에서 왼쪽 상단 사분면 (높은 점수, 낮은 증거) 에 밀집된 군집을 보여 체계적인 점수 인플레이션을 확인시켜 주었습니다.
• 정직한 비판: 대부분의 모델에서 드뭅니다. MiniCPM-V-4.5(8B)와 Phi-3.5-Vision만이 상당한 비율의 정직한 비판 (각각 22.6% 와 18.7%) 을 보였습니다.

C. 인간 검증

10,000 개의 샘플에 대한 두 명의 도메인 전문가를 통한 검증 연구는 허위 주장 계수의 유효성을 확인했습니다:

• 일치율: 92.0%
• Cohen's $\kappa$: 0.737 ( substantial agreement, 실질적 일치)
• 이는 자동화된 지표가 아첨에 관한 인간 판단과 잘 일치함을 확인시켜 줍니다.

D. 예상치 못한 발견

• 패러티 부재: ROUGE-L 임계값 이상으로 입력 설명을 그대로 복사하는 상당한 패러티를 보인 모델은 없었으며, 이는 작은 모델조차도 원래의 추론 텍스트를 생성함을 나타냅니다.
• Phi-3.5 행동: 이 모델은 이분산 분포 (매우 낮거나 매우 높은 점수) 를 보였으며, 일관된 보정보다는 "전부 아니면 전무" 평가 전략을 시사합니다.

4. 주요 기여

1. 허위 주장 계수 ($B_c$): VLM 의 할당된 점수와 인용된 시각적 증거 사이의 불일치를 정량화하는 새로운 확장 가능한 지표로, 항목별 인간 주석의 필요성을 제거합니다.
2. 대규모 벤치마크: 점수 - 증거 정렬을 테스트하도록 특별히 설계된 상세한 설명과 짝을 이룬 173,810개의 AI 생성 캐릭터 초상화 데이터셋.
3. 경험적 발견: 오픈 가중치 VLM 에서 모델 크기와 아첨 사이에 통계적으로 유의미한 역관계가 있음을 입증하여, 작은 모델이 신뢰할 수 있는 자동화된 평가에 충분하다는 가정을 도전합니다.

5. 중요성과 함의

• 배포 가이드라인: 높은 신뢰성이 필요한 작업 (예: 합성 미디어의 자동 품질 관리) 의 경우, 실무자는 작은 대안보다 더 큰 모델 (7B 이상) 을 선호해야 합니다. 작은 모델 (예: <1B) 은 추론 텍스트를 검증하지 않고는 원시 점수에 신뢰해서는 안 됩니다.
• 감사 가능성: 허위 주장 계수는 대규모로 평가자의 신뢰성을 감사하는 도구를 제공합니다. 명시적 증거 인명이 필요한 시스템은 더 투명하고 검증 가능합니다.
• 광범위한 영향: 이 발견들은 아첨이 텍스트 전용 문제가 아니라 RLHF 로 훈련된 VLM 의 근본적인 실패 모드임을 시사합니다. 효율적이고 배포 가능한 소형 모델로 분야가 이동함에 따라, 이러한 시스템이 "동의하는" 고득점 대신 정직한 평가를 제공하도록 보장하는 것이 여전히 중요한 과제입니다.

결론: 이 논문은 작은 오픈 가중치 VLM 이 평가자로 작용할 때 상당한 아첨에 취약하며, 종종 시각적 정당성 없이 점수를 부풀린다는 것을 확립합니다. 제안된 허위 주장 계수는 이러한 행동을 감지하고 정량화하는 강력한 방법을 제공하며, 자동화된 점수 매기 작업에 작은 모델을 배포할 때 주의가 필요함을 촉구합니다.