기술 요약: 인간의 인용 선호도와 대규모 언어 모델(LLM) 행동의 정렬

문제 정의

대규모 언어 모델(LLM)은 출력의 검증 가능성을 높이기 위해 인용을 점점 더 많이 포함하고 있지만, 어떤 콘텐츠가 인용을 유발하는지에 대한 메커니즘은 여전히 충분히 탐구되지 않았습니다. 현재의 연구는 어떤 문서를 연결할 것인가(예: RAG를 통한)에 집중되어 있으며, 텍스트 콘텐츠를 기반으로 '언제' 인용할 것인지에 대한 결정에는 충분한 주의를 기울이지 못했습니다. 인용 빈도의 불균형(너무 적거나 너무 많은 경우)은 사용자 신뢰를 저하시키고, 만족도를 낮추며, 의사결정의 정확성을 해칠 수 있습니다. 본 연구는 LLM이 인용의 필요성에 관한 인간의 선호도와 본질적으로 일치하는지, 그리고 이러한 행동을 제어할 수 있는지에 대한 이해의 핵심적인 격차를 다룹니다.

방법론

데이터셋 구축

저자들은 인간의 인용 선호도와 LLM 행동 사이의 관계를 규명하기 위해 특화된 데이터셋을 구축했습니다:

• 출처: Wikipedia에서 추출한 6,000개의 문장(WikiSQE 데이터셋 기반).
• 범주화: 문장들에 품질 태그를 부여하고 8가지 인용 동기 범주로 재그룹화했습니다:
  1. 누락된 정보 (누가, 언제, 무엇을, 어디서)
  2. Sic (텍스트 오류)
  3. 의구심 (의심스러운 주장)
  4. 모호함 (불분명한 어구)
  5. POV (비중립적/편향된 진술)
  6. 의료 콘텐츠 (출처가 없는 건강 관련 주장)
  7. 전문 용어 (지나치게 기술적인 용어)
  8. 불명확함 (이해하기 어려운 내용)
• 어노테이션 전략: 본 연구는 쌍체 비교(pairwise comparisons)를 활용했습니다. 8가지 범주의 모든 조합(28개 쌍)에 대해, 어노테이터는 두 문장을 제시받고 어떤 문장이 인용을 필요로 하는지 선택하도록 요청받았습니다. 품질 관리를 거친 후 최종적으로 2,596개의 고품질 비교 쌍이 생성되었습니다.
• 참여자: 402명의 인간 어노테이터가 그라운드 트루스(ground-truth) 선호도를 제공했습니다.

모델 평가

본 연구는 구축된 데이터셋을 바탕으로 11개의 LLM(Llama, Mistral, DeepSeek과 같은 오픈 소스 모델 및 GPT-5, Claude, Gemini와 같은 폐쇄형 모델 포함)을 평가했습니다. 평가는 모델의 인용 선택과 문장 쌍에 대한 인간의 선호도 사이의 일치율을 측정했습니다.

DPO를 통한 정렬

인용 행동을 교정할 수 있는지 조사하기 위해, 저자들은 인간이 어노테이션한 데이터를 사용하여 **직접 선호도 최적화(Direct Preference Optimization, DPO)**를 적용했습니다. 이들은 인간의 인용 결정과 일치하도록 LoRA를 사용하여 다섯 개의 대상 모델(Llama 1B, 3B, 70B, Mistral Small, Mistral Large)을 미세 조정했습니다.

주요 결과

1. 현재 모델의 제한된 정렬

현재의 LLM은 인간의 인용 선호도와 낮은 수준의 일치만을 보였으며, 평균 일치율은 60% 초반대에서 정체되었습니다(예: DeepSeek 62.7%, Llama 70B 61.6%). 파라미터 규모에 따른 효과가 관찰되었는데, 일반적으로 모델이 클수록 성능이 좋았으나 가장 큰 모델조차 높은 수준의 일치에 도달하지는 못했습니다.

2. 체계적 편차

분석 결과, 모델의 행동에서 인간의 선호도와 대비되는 특정하고 체계적인 편차가 발견되었습니다:

• "인용 필요" 라벨의 과잉 선택: 모델은 Wikipedia에 "인용 필요(Citation needed)"라고 명시적으로 표시된 문장을 인간보다 훨씬 더 많이 선택하는 경향이 있습니다. 폐쇄형 모델은 이러한 문장에 대해 인간보다 최대 27.4% 더 높은 선택률을 보였으며, 이는 진정한 이해보다는 학습 데이터로부터의 강력한 각인을 시사합니다.
• 숫자 문장의 과소 선택: 모델은 숫자가 포함된 문장(정량적 표현)을 체계적으로 과소 선택하며, 그 비율이 인간의 선호도보다 최대 22.6% 낮았습니다. 인간은 통계치에 대해 인용을 요구하지만, 모델은 종종 이러한 필요성을 인식하지 못합니다.
• 인명 문장의 과소 선택: 마찬가지로, 모델은 인명이 포함된 문장을 인간 대비 최대 20.1% 적게 선택했습니다. 이는 생애 관련 콘텐츠에 요구되는 높은 사실적 민감도에도 불구하고 나타난 결과입니다.
• 의료 콘텐츠에 대한 합의: 인간과 모델 모두 의료 콘텐츠에 대해 일관되게 인용을 우선시하였으며, 모든 범주 중 가장 높은 일치율을 보였습니다.

3. DPO의 효과

인간이 어노테이션한 데이터를 통해 DPO로 모델을 학습시킨 결과, 정렬이 성공적으로 개선되었습니다:

• 성능 향상: 이 접근 방식은 인간의 선호도와의 일치도를 평균 5.76% 향상시켰습니다.
• 모델별 영향: 작은 모델들이 가장 큰 혜택을 입었으며, Llama 1B는 **11.8%**의 개선을 보였습니다. 반면 Llama 70B와 같은 큰 모델은 오히려 약간의 하락(-1.6%)을 보였는데, 이는 정렬 전략이 모델 규모에 따라 맞춤화될 필요가 있음을 시사합니다.
• 편향 완화: DPO는 학습 데이터의 편향(예: "인용 필요" 템플릿에 대한 과도한 의존)의 영향을 완화하여 모델의 행동을 인간의 판단에 더 가깝게 가져오는 능력을 입증했습니다.

주요 기여

1. 인용 필요성에 관한 첫 연구: 본 연구는 텍스트 내에서의 인용 '필요성'에 초점을 맞춘 최초의 조사로, 인간과 LLM 모두의 선호도를 조사했습니다.
2. 특화된 데이터셋: 8가지 뚜렷한 콘텐츠 기반 범주에 걸쳐 인간의 인용 선호도 라벨을 가진 6,000개 문장 데이터셋을 구축했습니다.
3. 학습 데이터의 영향 분석: LLM의 인용 행동이 학습 데이터 패턴(예: Wikipedia 템플릿)에 의해 강하게 영향을 받아 인간의 선호도와 괴리가 발생함을 입증했습니다.
4. DPO 효능 입증: 직접 선호도 최적화(DPO)가 모델의 행동을 인간의 인용 선호도에 더 잘 맞도록 교정할 수 있음을 보여줌으로써, 인용 빈도와 유형을 제어할 수 있는 메커니즘을 제시했습니다.

의의 및 시사점

본 논문은 인용 행동이 사전 학습(pretraining)으로부터 자연스럽게 나타날 것이라고 가정해서는 안 되며, 명시적으로 학습되고 평가되어야 한다고 주장합니다. 연구 결과는 다음과 같은 점을 시사합니다:

• 명시적 학습의 필요성: 사전 학습에만 의존하는 것은 인용 적절성(cite-worthiness)의 정렬을 달라는 데 불충분합니다.
• 제어된 배포: 미래의 AI 시스템은 검증 가능성과 사용자 경험 사이의 균 균형을 맞추기 위해 범주 인식 라우팅(예: 숫자 및 인명 문장에 대한 트리거 강화)과 빈도 제어를 고려해야 합니다.
• 에이전트 파이프라인 최적화: 많은 현대적 시스템이 LL마다 검색 및 인용 결정을 암묵적으로 수행하므로, 모델 수준에서 인용 적절성 정렬을 개선하는 것은 AI 에이전트 파이프라인의 신뢰성을 직접적으로 높일 수 있습니다.

저자들은 현재 모델들이 가능성을 보여주고 있으나, 특히 숫자나 이름과 같은 특정 콘텐츠 유형을 처리함에 있어 인간의 기대치와 정렬하기 위해서는 여전히 상당한 작업이 남아 있다고 결론지었습니다.