기술 요약: AuthorityBench

문제 정의

대규모 언어 모델(LLM)이 인용 증강 환경에서 점점 더 많이 배치되고 있으나, 사실적 내용과는 독립적으로 인용의 존재가 모델의 행동에 미치는 구체적인 영향은 여전히 제대로 이해되지 않고 있다. 환각(그럴듯하지만 사실과 다른 내용을 생성하는 것)은 잘 알려진 실패 모드이지만, "문맥 내 권위 신호(in-context authority signals)"—즉, 인용된 출처의 외견상 권위와 주장 자체의 진위 사이에서 모델이 어떻게 반응하는지에 대한 역할—는 미개척 영역이다. TruthfulQA 및 HaluEval과 같은 기존 벤치마크는 응답 수준의 정확도에 초점을 맞출 뿐, 권위 신호의 인과적 역할을 분리하여 측정하지 못한다. 또한, FalseCite와 같은 선행 연구는 허위 주장과 조작된 인용이 결합된 경우만을 조사했을 뿐, 학술지 권위, 저자 정체성, 또는 참인 주장과 조작된 인용 사이의 상호작용을 통제하지 못했다.

방법론: AuthorityBench

저자들은 인용 기반의 권위 신호가 LLM의 인식적 행동을 어떻게 형성하는지 격리하여 조사하기 위해 설계된 대규모 다중 도메인 벤치마크인 AuthorityBench를 소개한다.

실험 설계

핵심 혁신은 두 가지 변수를 독립적으로 조작하는 **완전 균형 2×2 요인 설계(fully balanced 2×2 factorial design)**이다:

1. 주장의 진위(Claim Veracity): 참(True) vs 거짓(False).
2. 인용의 진위(Citation Veracity): 실제(Real) vs 조작(Fabricated).

이 설계는 네 가지 주요 조건과 각 주장에 대한 "인용 없음(no-citation)" 베이스라인을 생성한다. 핵심적인 새로운 조건은 **참인 주장 × 조작된 인용(TC×FC)**으로, 이는 모델이 조작된 권위 신호의 압박 하에서 올바른 사실을 부정하도록 유도될 수 있는지를 테스트한다.

데이터셋 구축

• 규모: 110,282개의 기본 주장에서 생성된 220,564개의 프롬프트.
• 도메인: 일반 상식(FEVER), 과학(SciQ), 법률(CaseHOLD), 의학(MedMCQA)의 네 가지 별도 도메인이 활용되었다.
• 프롬프트 변형: 구조적 민감도를 테스트하기 위해 40개의 다양하게 구조화된 프롬프트 템플릿(예: 접두사, 문장 중간, 접미사, 각주 스타일)을 채택했다.
• 통제 변수:
  • 학술지 권위(Venue Prestige): 인용은 순위(SCImago, Washington and Lee 등)에 따라 네 가지 권위 계층(Tier 1 ~ Tier 4) 중 하나로 할당된다.
  • 저자 인구통계: 조작된 인용의 경우, 저자의 성(surname)은 국가 코드가 포함된 데이터셋에서 샘플링되어 인지된 인구통계적 영향력을 분석한다.
  • 시간적 프레이밍: 인용 연도는 1980년부터 현재까지를 포괄한다.
• 인용 구축: 실제 인용은 검증 가능한 출처(MTEB SciFact, PubMedQA, CaseHOLD 컨텍스트)에서 가져온다. 조작된 인용은 선별된 저자 이름과 학술지 풀에서 구성된다. 구조화된 학술 메타데이터를 사용할 수 없는 일반 상식 도메인(FEVER)의 경우, 인용 메타데이터는 다른 도메인 풀에서 백필(back-fill)되어 해석을 위해 플래그가 지정된다.

평가

• 모델: Gemma 3 4B, Llama 3.1 8B, Phi-4 Mini, Gemma 4 31B, DeepSeek V3.2를 포함한 오픈 웨이트 모델과 Claude Haiku 4.5, GPT 5.4 mini를 포함한 폐쇄형 모델 등 7개의 모델을 평가했다. 오픈 웨이트 모델은 전체 데이터셋에 대해 테스트되었으며, 폐쇄형 모델은 균형 잡힌 15K 서브셋에 대해 테스트되었다.
• 판단자(Judge): 출력값은 ground truth 라벨과 소스 메타데이터가 제공된 Qwen3-8B를 사용하여 평가되었으며, 이는 파라미터 지식에 대한 의존도를 최소화하기 위함이다. 층화 표본에 대한 인간 평가 결과 높은 평가자 간 일치도(Cohen's $\kappa$ = 0.83)를 확인했다.
• 지표: 주요 지표는 환각률(hallucination rate)(환각으로 라벨링된 출력의 비율)이다. 효과는 리프트(lift)(베이스라인으로부터의 절대적 퍼센트 포인트 차이)와 Cohen's $d$를 통해 측정된다.

주요 결과

1. 인용의 존재는 환각을 증가시킨다

모든 7개 모델에서, 실제 인용이든 조작된 인용이든 인용의 존재 자체가 인용이 없는 베이스라인에 비해 환각률을 높인다. 이는 인용이 모델의 출력을 본질적으로 근거 있게 만든다는 가설에 반하는 결과이다.

2. 결정적 조건인 TC×FC

가장 심각한 실패 모드는 조작된 인용이 참인 주장과 결합될 때(TC×FC) 발생한다.

• 이 조건에서 모델은 다른 어떤 실험 조건보다 올러른 사실을 부정할 가능성이 높다.
• TC×FC 조건 하에서의 일반 상식 도메인 환각률은 모델에 따라 **35%에서 77%**에 달한다.
• 참인 주장 베이스라인 대비 리프트는 +3.23에서 +22.29 퍼센트 포인트 범위에 이른다.
• 주목할 점은, 더 큰 모델(예: Gemma 4 31B, GPT 5.4 mini)이 작은 모델보다 더 강한 저항성을 보이지 않으며, 어떤 경우에는 매우 취약하다는 것이다.

3. 거짓 주장에 대한 상이한 반응

모델은 거짓 주장을 접했을 때 두 가지 뚜렷한 행동을 보인다:

• 억제(Suppression): Llama 3.1, Claude Haiku 4.5, GPT 5.4 mini와 같은 모델은 조작된 인용이 존재할 때 환각률이 감소하며, 이는 인용이 정밀한 조사를 유발함을 시사한다.
• 증폭(Amplification): Gemma 제품군과 Phi-4 모델은 인용이 존재할 때 거짓 주장에 대한 환각률이 증가하며, 인용을 권위적 지지로 취급한다.

4. 도메인 및 구조적 민감도

• 도메인 취약성: 일반 상식 도메인이 인용 유도형 환각에 가장 취약하다. 반면, 법률 도메인은 인용 유도 리프트가 가장 작게 나타나 일관되게 견고한 모습을 보이는데, 이는 독특한 언어적 레지스터와 형식적 관습이 모델의 증거 기준을 높이기 때문인 것으로 보인다.
• 학술지 권위: 예상과 달리, 학술지 권위는 체계적인 영향을 미치지 않았다. 조작된 인용이 낮은 티어의 저널에서 온 것이든 높은 티어의 저널(예: Nature)에서 온 것이든, 환각을 유도하는 측면에서는 동일한 무게를 가진다.
• 저자 인구통계: 인지된 저자 정체성(국가 코드 성씨를 통한)은 환각률에 미미한 영향을 미친다.
• 템플릿 구조: 인용의 위치가 중요하다. 접두사 배치("According to..."와 같은 방식)가 일관되게 가장 위험도가 높은 형식이며, 최소한의 현저성을 가진 형식이 가장 안전한 경우가 많았다.

의의 및 주장

본 논문은 인용의 존재가 사실적 정확도를 저하시킨다는 엄격하고 대규모인 첫 번째 증거를 AuthorityBench가 제공한다고 주장한다. 이는 모델이 원래 올바르게 답변했을 내용에 대해서도 마찬가지이다.

• 인식적 실패: 이러한 결과는 LLM이 단순한 지식 부족이 아니라, 권위의 압박 하에서 인식적 추론의 실패를 겪고 있음을 시사한다. 모델은 인용의 존재가 내부 지식을 압도하는 휴리스틱을 내면화하여 "인용 유도형 부정(citation-induced denial)"을 일으키는 것으로 보인다.
• RAG에 대한 시사점: 검색 증강 생성(RAG) 시스템에서 인용의 존재가 신뢰성을 보장하지는 않는다. 고위험 도메인에서 인용된 출source에 근거하여 출력을 생성하는 것은, 모델이 주장의 진위보다 인용의 권위에 의존하게 될 경우 오히려 정확도를 떨어뜨릴 수 있다.
• 완화 전략: 저자들은 완화책이 모델이 인용을 단순히 경청해야 할 권위가 아니라 평가해야 할 증거로 취급하도록 만드는 데 있다고 주장한다. 그들은 모델 규모를 키우는 것만으로는 이러한 취약성을 본질적으로 해결할 수 없음을 강조한다.

결론적으로, 본 논문은 모델이 출처의 권위와 주장의 진위를 더 잘 구분할 수 있는 발전을 촉진하기 위해 모든 데이터셋과 평가 코드를 공개한다.