기술 요약: 선호 데이터에서 인용의 역할에 대하여

문제 정의

쌍별(Pairwise) 선호 데이터는 대규모 언어 모델(LLM)의 사후 학습 및 평가에 필수적이며, 복잡한 행동을 학습하고 효율적인 순위를 매기는 것을 가능하게 합니다. 그러나 이러한 선호의 해석 가능성은 종종 부족합니다. 즉, 판정자(인간 또는 모델)가 왜 한 응답을 다른 응답보다 선호하는지에 대한 구체적인 이유를 알 수 없는 경우가 많습니다. 이러한 불투명성은 특히 응답이 근거 소스에 대한 인용을 포함해야 하는 검색 증강 생성(RAG) 및 심층 연구 애플리케션에서 공정하고 견고한 보상 모델을 개발하는 데 걸림돌이 됩니다.

인용은 환각(Hallucination)에 대한 방어벽이자 검증 수단 역할을 하지만, 인간 판정과 LLM 판정이 쌍별 비교를 수행할 때 인용 관련 특징들을 어떻게 가중치로 두는지에 대해서는 여전히 불분명합니다. 기존 연구는 주로 일반적인 선호 편향이나 인용 생성에 초점을 맞추어 왔으며, 인간과 LLM 판정 모두에서 인용이 선호 데이터의 특정 예측 변수로서 수행하는 역할을 체계적으로 분석한 연구는 거의 없습니다.

방법론

저자들은 고정 효과(집단 수준의 추세)와 무작ful 효과(그룹 수준의 분산)를 분리할 수 있는 계층적 회귀 방식인 **혼합 효과 모델(Mixed-Effects Models, MEMs)**을 사용하여 인용 관련 특징이 선호도에 미치는 영향을 조사합니다.

데이터셋

본 연구는 과학적 질의응답에 대한 쌍별 판단을 포함하는 두 가지 데이터셋을 활용합니다:

1. SciArena: 102명의 연구자와 23개의 서로 다른 LLM이 참여한 12,249개의 비교 데이터입니다. 응답에는 저자-연도 방식의 인라인 인용이 포함되어 있습니다.
2. ResearchQA: 박사급 주석가(PhD annotators)와 두 가지 특정 모델(gpt-4.1-mini 및 gemini-2.5-flash)이 참여한 169개의 비교 데이터입니다. 응답은 번호가 매겨진 인라인 인용과 참조 목록을 사용합니다.

실험 설정

• 인간 베이스라인(Human Baseline): 본 연구는 두 데이터셋의 기존 인간 선호 레이블을 분석합니다.
• LLM 판정자(LLM Judges): 동일한 응답 쌍을 평가하기 위해 네 가지 오픈 소스 LLM인 Llama3.3-70B, Gemma3-27B, Qwen3-30B, 그리고 Skywork-Critic-70B(보상 모델로 특화 훈련된 모델)를 사용했습니다.
• 통제 변수(Controls): 인용의 효과를 격리하기 위해, 모델들은 제시 순서, 응답 길이, 그리고 응답 내용의 고유성(BERTScore 정밀도로 측정)을 통제했습니다.

예측 변수 (고정 효과)

저자들은 다음과 같은 특정 인용 관련 변수를 정의했습니다:

• 인용 다양성 (Citation Diversity, CD): 인용된 소스의 샤논 다양성 지수(엔트로피)로 측정됩니다.
• 인용 횟수 (Citation Count, CC): 응답 내 총 인용 횟수입니다.
• 인용 연령 (Citation Age, CA): 소스의 평균 출판 날짜입니다 (SciArena에만 해당).
• 인용 불일치 (Citation Mismatch, CM): 인라인 인용과 참조 목록 간의 불일치입니다 (ResearchQA에만 해당).

모델은 두 경쟁 응답 간의 이러한 특징 차이를 기반으로 특정 응답이 선택될 확률(승률)을 예측하도록 훈련되었습니다.

주요 결과

1. 인간의 선호도

두 데이터셋 모두에서 인간 판정자들은 일관된 선호도를 보였습니다:

• 양보다 다양성: 인간은 더 다양한 인용(높은 엔트로피)이 포함된 응답을 유의미하게 선호합니다.
• 더 적은 인용: 반대로, 인간은 더 적은 총 인용 횟수를 가진 응답을 선호합니다. 인용 횟수 차이가 1 표준 편차 증가할 때마다 선택 확률은 약 3.5%에서 6.5% 감소했습니다.
• 불일치에 대한 페널티: ResearchQA에서 인간은 인용 불일치(인라인 인용이 참조 목록과 일치하지 않는 경우)가 있는 응답에 유의미한 페널티를 부여했으며, 이는 잠재적인 환각이나 형식 오류에 대한 민감성을 시사합니다.
• 연령: SciArena에서 인간은 오래된 인용에 대해 약간의 비유의적인 선호도를 보였습니다.

2. LLM 판정자의 선호도

LLM 판정자들은 인간에 비해 뚜렷하고 종종 더 강한 편향을 보였습니다:

• 더 강한 다양성 선호: 네 가지 LLM 모두 인간보다 인용 다양성에 대해 더 강한 선호도를 보였습니다 (예: Llama는 인간의 1.8% 대비 약 7.5%의 승률 증가를 보임).
• 엇갈리는 횟수 선호: 인간은 높은 인용 횟수를 지속적으로 싫어한 반과 달리, LLM은 엇갈린 결과를 보였습니다. Skywork와 Llama는 인용 횟수와 강한 음의 상관관계를 보였으나(더 적은 것을 선호), 다른 모델들은 덜 유의미했습니다.
• 콘텐츠 vs 인용: LLM 판정자들은 응답 내용의 고유성과 응답 길이에 의해 크게 좌우되었습니다. Sci-Arena에서 길이에 대한 신뢰할 만한 선호도를 보이지 않은 인간과 달리, Llama, Gemma, Qwen은 더 긴 응답을 유의미하게 선호했습니다. 훈련된 보상 모델인 Skywork만이 길이 편향을 보이지 않은 유일한 모델이었습니다.
• 불일치에 대한 맹목성: 인간과 달리, LLM 판정자들은 ResearchQA의 인용 불일치에 대해 유의미한 페널티를 부여하지 않았습니다. 이는 이들이 외부 검증 도구 없이는 인라인 인용과 참조 목록 사이의 일관성을 효과적으로 탐지하거나 가치를 두지 못함을 시사합니다.

3. 모델 가변성

본 연구는 서로 다른 LLM 판정자들이 서로 다른 상관관계 패턴을 나타낸다는 것을 발견했습니다. 예를 들어, 훈련된 보상 모델로서의 Skywork의 행동은 길이 편향 및 인용 가중치 측면에서 일반 목적 모델(Llama, Gemma, Qwen)과 크게 달랐습니다.

의의 및 주장

본 논문은 과학적 QA 맥락에서 인용 특징이 인간 및 LLM 판정자의 선호도에 어떻게 영향을 미치는지에 대한 최초의 체계적인 분석을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 선호도의 해석 가능성: 저자들은 MEMs를 사용하여 "블랙박스" 형태의 선호 데이터를 넘어, 특정 인용 특징(다양성, 횟수, 연령, 불일치)이 판단을 어떻게 이끄는지 정량화함으로써 단순한 데이터 이상의 의미를 부여했습니다.
2. LLM-인간의 괴리: 본 연구는 LLM 판정자가 단순히 인간의 선호를 근사하는 것이 아니라, 데이터에 의존적인 독특한 편향을 나타낸다는 점을 강조합니다. 구체적으로, LLM은 인용 횟수를 과도하게 처벌하거나 인간이 중요하게 여기는 인용 불일치를 놓칠 수 있습니다.
3. 데이터 수집에 대한 시사점: 저자들은 현재의 선호 데이터 수집 프로토콜이 인용 품질 측면에서 미비할 수 있다고 주장합니다. 이들은 다음과 같이 제안합니다:
   • 인간 주석가는 현재 휴리스틱에 의존하고 있으므로, 인용된 내용을 검증하는 데 도움을 줄 수 있는 더 명확한 루브릭(rubric)이나 도구를 제공받아야 합니다.
   • LLM 판정자는 인간의 행동을 모방하여 표면적인 편향을 줄이기 위해, 인용을 검증할 수 있는 외부 도구에 접근할 수 있어야 합니다.
   • 모델 선택: 서로 다른 고유한 편향(예: 길이 편향)을 보이는 만큼, LLM 판정자의 선택은 매우 중요합니다.

저자들은 선호 데이터 파이프라인에 데이터 품질을 보장하기 위해 혼합 효과 모델이 통합되어야 하며, 인용이 다뤄지는 방식에 대해 인간과 자동화된 선호 데이터 수집 모두에서 세심한 주의를 기울여야 한다고 결론짓습니다.