기술 요약: 인간은 전기 양의 꿈을 꾸는가?

문제 정의

대규모 시각-언어 모델(LVLM)에서 환각(hallucination)을 안정적으로 탐지하는 것은 자연어 처리(NLP) 분야의 핵심적인 과제입니다. 환각이란 출력물이 유창해 보이지만 시각적 입력과 비교했을 때 사실과 다른 경우를 의미합니다. 현재의 평가 벤치마크는 두 가지 주요 한계점에 직면해 있습니다:

1. 모델 의존성: 대부분의 벤치마크는 특정 LVLM에 의해 생성된 데이터(결함이 있는 출력의 원천 또는 합성 생성기로서)에 의존합니다. 이는 특정 모델의 고유한 특성에 과적합될 위험을 초래하며, 탐지 성능이 환각에 대한 진정한 이해에서 비롯된 것인지 아니면 단순히 특정 모델의 행동 패턴을 암기한 것인지 구별하기 어렵게 만듭니다.
2. 노후화: 모델 개발 속도가 매우 빠르기 때문에, 인기 있는 모델을 사용하여 구축된 데이터셋은 출판 시점에 이미 최신 시스템을 대표하지 못하고 결과적으로 연구 결과가 구식이 될 위험이 있습니다.
3. 샘플링 문제: 파운데이션 모델에서 무작위 샘플링을 하면 희귀한 환각 유형의 표현이 희소해지는 반면, "LLM-판사(LLM-judge)"를 사용한 표적 샘플링은 판사 자체의 정확도와 편향에 크게 의존하게 됩니다.

저자들은 인간이 작성한 환각 샘플이 미세한 환각 탐지를 위해 모델 독립적이고 영속적인 대안으로서 모델 생성 벤치마크를 대체할 수 있는지 조사할 것을 제안합니다.

방법론

저자들은 20,000개의 샘플을 포함하는 다국어 데이터셋인 SHEEP(Set for Human-written and Electronic Erroneous Productions)를 소개합니다. 이 데이터셋은 세 가지 뚜렷한 샘플링 전략을 사용하여 구축되었습니다:

1. 무작위 샘플링 (Random Sampling): 다섯 가지 모델(Gemma3, InternVL3, MiniCPM V 4.5, Llava-NeXT, Qwen3-VL)을 사용하여 HaloQuest 및 VISaGE 데이터셋에서 생성된 LVLM 출력물로부터 언어/모델 쌍당 460개의 샘플을 무작위로 선택했습니다.
2. 모델 보조 사전 선택 (Model-Assisted Pre-selection, MAP): 특정 분류 체계를 바탕으로 환각을 포함하는 LVLM 출력을 사전 선택하기 위해 LVLM(Gemma3 27B)을 "판사"로 사용하였으며, 이를 통해 환각 유형의 분포를 균형 있게 맞추고자 했습니다.
3. 인간 작성 샘플 (Human-Written Samples): 유창한 모국어 화자들이 각 언어당 100개의 이미지-질문 쌍에 대해 특정 유형의 환각을 의도적으로 삽입하여 응답을 직접 작성했습니다. 이후 이 샘플들을 나머지 세 개 언어로 기계 번역한 뒤 품질 보증을 위해 수동으로 검수했습니다.

주석 체계 (Annotation Scheme):
20,000개의 모든 샘플(중국어, 영어, 프랑스어, 이탈리아어 포함)은 각 언어별로 3명의 원어민 또는 C1 수준 숙련자가 스팬(span) 단위로 주석을 달았습니다. 주석 체계는 다섯 가지 환각 클래스를 정의합니다:

• A (Invention, 발명): 이미지에 존재하지 않는 개체/객체/사건.
• B (Mischaracterization, 오설명): 존재는 하지만 잘못 설명된 개체.
• C (OCR Problem, OCR 문제): 보이는 텍ik을 잘못 읽음.
• D (Miscounting, 수량 오류): 잘못된 수량 보고.
• E (Other, 기타): 분류되지 않은 오류.
• F (None, 없음): 환각 없음.

주요 기여

1. SHEEP 데이터셋: 네 가지 언어에 걸쳐 스팬 단위 주석이 달린 20,000개 샘플(인간 작성 1,600개, 모델 생성 18,400개)로 구성된 다국어 미세 조정 데이터셋입니다.
2. 미세한 주석 (Fine-Grained Annotation): 단순한 이진 탐지를 넘어 다섯 가지 특정 환각 유형을 구분하는 문자 단위의 다중 주석자 레이블링을 제공합니다.
3. 인간 데이터의 경험적 검증: 인간이 작성한 샘플이 모델 기반 벤치마크를 대체할 수 있는 실행 가능한 대안임을 입증하는 종합적인 분석을 제시합니다.

결과 및 분석

1. 데이터 특성 및 주석자 간 일치도 (IAA)

• 합의 (Consensus): 인간이 작성한 샘플은 무작위로 샘플링된 모델 출력에 비해 유의미하게 높은 주석자 간 일치도를 보였습니다. 이는 인간 작성자가 특정 환각 유형을 더 신뢰성 있게 타겟팅할 수 있는 반면, 무작위 샘플링은 환각을 포착하는 데 실패하기 쉽고, MAP 샘플링은 판사의 정확도에 의존한다는 점을 시사합니다.
• 변동성 (Variability): 서로 다른 생성 LVLM 및 언어 간의 일치도 변동은 샘플링 전략 자체에 의해 발생하는 변동보다 크거나 대등한 것으로 나타났습니다. 결정적으로, 인간 작성 샘플의 일치도 수준은 다양한 모델(예: Gemma3 vs. QwenVL) 및 언어에서 관찰되는 자연스러운 변동 범위 내에 있었습니다.

2. 분포적 유사성

• 구별 가능성 (Distinguishability): 인간 작성 샘플은 통계적으로 모델 생성 데이터와 구별되지만(분포 변화 발생), 이 변화는 서로 다른 LVLM 벤치마크 간(예: VISaGE vs. HaloQuest) 또는 서로 다른 모델 간(예: Gemma3 vs. QwenVL)의 변화와 유사한 수준입니다.
• 시사점: 서로 다른 LVLM 간의 스타일 및 어휘적 변동은 이미 상당하므로, 인간 작성 데이터가 벤치마크로서의 유효성을 무효화할 정도의 "이상치(outlier)" 분포를 도입하지는 않는다는 것을 의미합니다.

3. 벤치마킹 성능

• 레이블 평가: Gemma3를 판사로 사용하여 항목을 레이블링했을 때, 인간 작성 샘플은 모델 생성 샘플보다 종종 더 높은 정확도로 레이블링되었습니다.
• 성능 상관관계: 저자들은 10개의 서로 다른 LVLM을 "판사"로 사용하여 두 데이터 소스 모두에 대해 테스트했습니다. 그 결과, 두 데이터 소스 전반에서 판사들의 성능 순위 사이에 높은 피어슨 상관관계가 있음을 발견했습니다. 특히 인간 작성 데이터에서 가장 높은 상관관계가 나타났으며, 이는 인간 작성 데이터가 탐지 능력을 순위 매기기 위한 데 있어 임의로 선택된 어떤 LVLM 생성 샘플만큼이나 적절하다는 것을 나타냅니다.
• 탐지 도구: 스팬 단위 탐지기(HalluShift++)를 평가한 결과, 인간 작성 데이터에서의 성능은 특정 LVLM 생성 데이터에서의 성능과 대등했습니다.
• 모델 편향: 본 연구는 모델 의존적 벤치마크가 특정 편향을 유발할 수 있음을 강조했습니다. 예를 들어, Llava-NeXT 데이터로 훈련된 탐지기를 Llava-NeXT 데이터로 테스트할 때 성능이 저하되는 현상이 나타났는데, 이는 더 넓은 범위의 인간 작성 서브셋을 사용할 때 피할 수 있는 함정입니다.

의의 및 주장

본 논문은 인간이 작성한 샘플이 LVLM 기반 환각 벤치마크의 실행 가능하고 견고한 대체재를 제공한다고 주장합니다. 이 접근 방식의 의의는 다음과 같습니다:

• 제어 가능성 (Controllability): 연구자가 특정 환각 유형(예: 충분한 OCR 오류나 수량 오류 확보)의 빈도를 정밀하게 제어할 수 있게 해줍니다. 이는 무작위 샘플링으로는 어렵습니다.
• 영속적 가치 (Perennial Value): 벤치마크를 특정 모델 생성으로부터 분리함으로써, 모델 특정적 벤치마크와 관련된 급격한 노후화 문제를 방지합니다.
• 편향 감소 (Reduced Bias): 탐지 시스템이 단일 생성 모델의 특정 실패 모드나 "고유한 특성"에 과적합될 위험을 완화합니다.
• 건전성 검사 (Sanity Check): 인간 작성 데이터는 중요한 건전성 검사 역할을 합니다. 만약 인간 작성 데이터와 LVLM 생성 데이터 간에 큰 성능 차이가 발생한다면, 이는 탐지기가 실제 환각 탐지가 아닌 허위 신호(spurious signals)에 의존하고 있음을 나타내는 지표가 됩니다.

저자들은 인간 작성 데이터가 모델의 행동을 완벽하게 투영하는 거울은 아닐지라도, 분포적 프로필이 모델 출력과 충분히 유사하며, 고도의 합의와 제어가 가능한 데이터를 생성할 수 있다는 점에서 빠르게 진화하는 NLP 환경에서 환각 탐지 도구를 평가하기 위한 우수한 토대가 된다고 결론짓습니다.