기술 요약: Eval-Pair Matrix

문제 정의

검색 증강 생성(RAG) 시스템은 중요한 평가 과제에 직면해 있다: 답변이 유창하고 인용이 잘 되어 있더라도 소스 문구와 모순될 수 있다는 점이다. "LLM-as-a-judge"(판사로서의 LLM)는 속도가 빠르고 구조화된 근거를 생성할 수 있는 능력 덕분에 RAG 평가의 표준이 되었으나, 생성 모델과 판사 모델이 동일한 모델 제품군(family)에 속할 때 발생하는 중대한 방법론적 간극이 존재한다.

자기 선호(self-preference)에 관한 기존 문헌(예: Dubois et al., 2024; Shi et al., 2024)은 판사가 자신의 모델 제품군에서 나온 출력을 선호할 수 있음을 시사한다. 그러나 이는 종종 식별(identification)의 문제이다. 즉, 판사가 자신의 출력을 선호하는 이유는 스타일이 친숙하거나 품질이 높기 때문일 수도 있지만, "자기 관대함(self-leniency)"(오류를 처벌하지 못함) 때문일 수도 있다. 소스 기반 RAG에서 과제는 선호도에서 사실적 일관성으로 전환된다. 핵심 질문은 판사가 자신의 모델 출력에서 발생한 모순을, 그 모순이 유도되었음에도 불구하고 판사에게는 숨겨져 있을 때 제대로 감지하지 못하는가 하는 것이다.

방법론: Eval-Pair Matrix

저자들은 생성기의 품질과 답변의 난이도로부터 동일 모델 판정 효과를 분리하기 위해 설계된 통제된 메타 평가 프로토콜인 Eval-Pair Matrix를 도입한다.

1. 데이터 구축 및 섭동(Perturbation)

본 연구는 인간이 작성한 답변과 문단 수준의 근거를 가진 벤치마크인 GaRAGe를 활용한다.

• 섭동: 각 레코드에 대해, LLM 섭동기(perturber)는 하나의 "답변-인과적(answer-causal)" 명제(답변에 필수적인 주장)를 선택하여, 모든 지원 문단을 타당하지만 거짓인 대체 값(예: 48%라는 통계치를 35%로 변경)을 지지하도록 재작성한다.
• 검증: 5단계 검증 과정을 통해 섭동이 유효한지, 답변에 인과적인지, 전역적으로 일관되는지, 원래 값이 누출되지 않았는지, 그리고 원래 문단이 섭동된 문단과 모순되는지를 확인한다.
• 데이터셋: 최종 분석에는 초기 풀 300개 중 검증된 275개의 레코드를 사용하며, 이를 통해 897개의 사용 가능한 답변을 생성한다.

2. 교차 행렬 설계 (The Crossed Matrix Design)

실험은 세 가지 모델 제품군인 GPT, Grok, Gemini를 사용하여 $3 \times 3$ 교차 행렬을 채택한다.

• 생성기(Generators): 각 모델은 오직 섭동된(거짓) 근거만을 사용하여 답변을 생성한다.
• 판사(Judges): 동일한 세 모델이 블라인드 판사 역할을 수행한다. 이들은 생성된 답변을 원래의(섭동되지 않은) 근거에 비추어 평가한다.
• 블라인드 처리: 판사는 질문, 후보 답변, 그리고 원래의 문단을 본다. 이들은 섭동 내용, 생성기의 정체, 그리고 유도된 오류에 대해 알지 못한다(blind).

3. 쌍을 이룬 추정량 (The Paired Estimand)

전통적인 분석은 대각선 셀(동일 모델)을 비대각선 셀(교차 모델)과 비교한다. 저자들은 이것이 서로 다른 스타일과 거절률을 가진 서로 다른 답변들을 비교하는 것이므로 추론적으로 약하다고 주장한다.
대신, Eval-Pair Matrix는 **답변-쌍을 이룬 추정량(answer-paired estimand)**을 사용한다:

• 특정 후보 답변 $G$에 의해 생성된 경우, 세 모델의 판사가 모두 해당 답변을 평가한다.
• 분석은 모델 $G$의 일치하는 판사(모델 $G$)를 일치하지 않는 판사(다른 두 모델)와 동일한 답변에 대해 비교한다.
• 이를 통해 생성기 특유의 행동(예: 거절률, 스타일)으로부터 "동일 모델 효과"를 격리한다.

4. 레이블링 및 인간 평가

• 행동 레이블: 답변은 행동(예: "문맥 준수", "메모리 덮어쓰기", "거절/불충분")에 따라 레이블이 지정된다.
• 유도된-오류 채택(Induced-Error Adoption): 별도의 레이블 평가자가 답변이 유도된 거짓 주장을 채택했는지 여부를 결정한다.
• 인간 감사: 88개의 사례를 대상으로 표적 인간 평가를 실시하였으며, 특히 "외견상 거짓 양성(apparent false positives)"(판사가 오류를 지적했으나 답변이 유도된 주장을 피한 경우)에 집중하였다.

주요 결과

1. 오류 탐지에 대한 견고한 동일 모델 관대함 없음

판사가 자신의 모델 오류에 관대할 것이라는 가설과 달리:

• 전역 재현율(Recall) 효과: 쌍을 이룬 분석 결과, 동일 모델 판사가 자신의 모델 답변에서 유도된 오류를 놓친다는 견고한 증거를 발견하지 못했다. 재현율 차이는 거의 제로에 가깝다 ($\Delta = -0.5$ pp; 95% CI $[-2.7, +1.7]$).
• F1 점수: 원시 대각선 F1(84.4%)과 비대각선 F1(83.4%)은 통계적으로 유사하다.

2. "회피된-주장(Avoided-Claim)" 격차

유일하게 견고한 쌍 차이가 관찰된 것은 유도된 거짓 주장을 회피한(예: 거절하거나 모호하게 답변함) 답변들에서였다.

• 결과: 일치하는 판사는 비일치 판사보다 이러한 답변을 더 적게 지적했다 ($\Delta = -4.3$ pp; 95% CI $[-6.6, -2.0]$).
• 해석: 이것은 낮은 허위 경보(false-alarm)율이 아니다. "회피된-주장" 레이블은 오직 유도된 특정 오류가 채택되었는지만 확인한다. 그러나 판사의 과업은 어떠한 사실적 오류라도 소스에 대해 지적하는 것이다. 유도된 주장을 피한 답변들은 종-관련되지 않은 사실에 대한 환각이나 잘못된 인용 등 다른 소스 관련 오류를 포함하고 있었다.

3. 외견상 거짓 양성에 대한 인간 평가

저자들은 25개의 "외견상 거짓 양성"(판사가 오류를 지적했으나 '유도된 주장을 회피함'으로 레이블링된 답변)을 감사하였다.

• 결과: 단 하나도 실제 허위 경보가 아니었다.
  • 22개는 다른 소스 오류를 정확히 탐지한 것이었다.
  • 2개는 유도된 오류 채택 레이블의 실수였다.
  • 1개는 불분명한 사례였다.
• 결론: 관찰된 격차는 레이블/과업의 불일치이지, 자기 관대함의 증거가 아니다. 채택 레이블은 판사에게 부여된 더 넓은 범위의 "모든 소스 근거 오류" 탐지 과업을 포착하기에는 너무 좁다.

4. 국소화(Localization)

판사가 오류를 지적했을 때, 이들은 **94.0~98.5%**의 높은 비율로 해당 소스 문단을 정확히 찾아냈다. 이는 모순을 국소화하는 데 있어 높은 정밀도를 보여준다.

기여 및 의의

방법론적 기여

1. 프로토콜: 숨겨진, 국소적인 소스 모순과 블라인드 판정을 사용하는 통제된 메타 평가 설정.
2. 쌍을 이룬 추정량: 서로 다른 답변 분포를 비교하는 대신, 동일한 후보 답변에 대해 판사를 비교함으로써 생성기의 난이도와 스타일을 효과적으로 통제함.
3. 행동 계층화: 생성기의 행동(거절, 모호한 표현)이 평가 지표에 상당한 영향을 미치며, 이를 별도로 분석해야 함을 입증함.

경험적 발견

• 광범적 자기 선호론 반박: 사실 중심의 RAG에서, 동일 모델 판사가 자신의 모델 오류를 광범적으로 놓친다는 견고한 증거는 없다.
• 격차의 재해intpretation: 지적률의 차이는 자기 관대함보다는 좁은 "채택" 레이블과 더 넓은 "모든 오류" 판사 과업 사이의 불일치로 설명하는 것이 더 적절하다.

의의

본 논문은 동일 모델 RAG 판정이 단순한 금지 사항이 아니라 식별(identification)의 문제라고 주장한다. 원시적인 대각선 대비 비대각선 비교는 기술적으로 유용할 수 있으나, 추론적으로는 불충분하다. 자기 관대함에 대해 유효한 주장을 하려면 다음을 준수해야 한다:

• 전체 판사-생성기 행렬을 보고할 것.
• 답변-쌍을 이룬 효과를 사용할 것.
• 생성기 행동에 따라 계층화할 것.
• ground-truth 레이블과 판사에게 할당된 특정 오류 탐지 과업 간의 정렬을 보장할 것.

본 연구는 사실적 근거 설정(factual grounding)이 개방형 선호도 과제에서 보이는 스타일 기반의 자기 선호 효과를 줄일 수 있지만, 근거 생성(grounded generation)과 관련하여 새로운 복잡성을 도입한다는 점을 시사한다.