기술 요약: 판사 회로

문제 제기

"LLM-as-a-Judge"(LaaJ) 패러다임은 모델 평가의 확장 표준이 되었으나, 중요한 신뢰성 문제를 안고 있습니다: 모델은 동일한 입력에 대해 출력 형식 (예: 1~5 점 등급 대 True/False 분류) 에 따라 체계적으로 다른 점수를 부여합니다. 이전 연구들은 이러한 불일치를 문서화했으나, 입력 - 출력 수준에 머무르며 내부 계산 메커니즘을 설명하지 못했습니다. 본 논문이 다루는 핵심 질문은 모델이 일관되게 판단하는지 여부가 아니라, 입력에서 출력 토큰으로 이어지는 계산 경로 내에서 형식에 의해 유발된 불일치가 어디서 기원하는지입니다.

방법론

저자들은 Gemma-3, Qwen2.5, Llama-3 모델의 판사 회로 내부 메커니즘을 인과적으로 조사하기 위해 **위치 인식 엣지 귀속 패칭 (PEAP)**을 활용합니다. 그들의 접근 방식은 다음과 같습니다:

1. 회로 발견: PEAP 를 사용하여 토큰 위치 (전제 대 가설과 같이 분리된 구간을 비교하는 작업에 필수적) 를 가로지르는 인과적 엣지를 추적하고, 이를 차별화된 입력 토큰 (정제된 프롬프트 대 손상된 프롬프트) 에서 출력까지 연결합니다.
2. 대조적 분해: 동일한 데이터 인스턴스에 대해 두 가지 회로를 추적합니다: 하나는 등급 작업 ($C_{rate}$) 을 위한 것이고, 다른 하나는 분류 제어 작업을 위한 ($C_{class}$) 것입니다. 이러한 회로의 교집합 ($C_{LE} = C_{rate} \cap C_{class}$) 은 **잠재 평가자 (Latent Evaluator, LE)**를 정의하며, 차이점은 **작업 포맷터 (Task Formatters, TF)**를 정의합니다.
3. 인과적 프로브: 세 가지 독립적인 방법을 통해 발견된 회로를 검증합니다:
   • Zero-Ablation: LE 구성 요소를 0 으로 고정하여 세계 지식이 유지된 채 판단이 무너지는지 테스트합니다.
   • 부분 공간 조종 (Subspace Steering): LE 활성화 공간에서 1 차원 판단 방향을 식별하고 이를 조종하여 출력 변화를 관찰합니다.
   • 형식 전이 주입 (FTI): 등급 프롬프트에서 LE 활성화를 포착하여 분류 프롬프트의 그래프로 주입하여 출력 토큰이 반전되는지 확인합니다.

주요 기여 및 결과

1. 공유된 잠재 평가자의 발견

이 연구는 중간에서 후기 단계의 다층 퍼셉트론 (MLP) 과 선택된 후기 어텐션 헤드에 위치한 희소하고 일반화된 잠재 평가자 (LE) 서브 그래프를 식별합니다.

• 작업 간 중첩: 구조화된 언어적 정확성, 선호도, 감성과 같은 서로 다른 판단 작업들은 밀집된 계산 트렁크를 공유합니다. 예를 들어, Qwen2.5-7B 에서 작업 간 엣지 IoU 는 34.9% 에서 47.0% 사이입니다.
• 신뢰성: 이러한 희소 회로 (상위-$k \le 200$개의 엣지) 는 인과적으로 충분하며, 25 개의 모델 - 작업 구성 중 21 개에서 모델의 평가 행동을 $\ge 87\%$ 복구합니다.

2. 아키텍처 의존적 모듈성

LE 의 기능적 격리는 규모의 보편적 결과가 아니라 모델 아키텍처에 의존합니다:

• 모듈형 모델: Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B, Gemma-3-27B 에서 LE 를 제로 - 애블레이션 (zero-ablating) 하면 판단 성능은 무너지지만 세계 지식 (MMLU, StrategyQA) 은 온전하게 유지됩니다.
• 얽힌 모델: Gemma-3-12B 에서 LE 는 세계 지식 경로와 밀접하게 얽혀 있습니다; 이를 애블레이션하면 판단과 사실적 회상 모두 저하됩니다. 이는 모듈성이 단순한 파라미터 수의 함수가 아니라 아키텍처적 속성임을 시사합니다.

3. 형식에 의해 유발된 불일치의 메커니즘

이 논문은 형식 변경이 왜 불일치를 초래하는지에 대한 메커니즘적 설명을 제공합니다:

• 분할: 판단은 공유된 LE 트렁크 내의 안정적이고 연속적인 신호에 의해 계산됩니다. 이 신호는 **취약하고 형식 특이적인 말단 가지 (작업 포맷터)**에 의해 특정 출력 토큰으로 매핑됩니다.
• 병목 현상: 불일치는 평가 자체에 있는 것이 아니라 라우팅에 있습니다. LE 는 안정적인 1 차원 판단 방향을 계산하지만, 작업 포맷터의 "끌림자 기하학 (attractor geometry)"(이 스칼라를 이산 토큰으로 매핑하는 방식) 은 형식과 모델에 따라 다릅니다.
  • 이진/서열 형식: 명확한 끌림자가 있는 형식 (예: 이진 Yes/No 또는 1~5 척도) 에서 LE 신호는 성공적으로 디코딩됩니다.
  • 다중 끌림자 형식: MNLI (함의/중립/모순) 와 같은 작업에서 포맷터는 세 개의 경쟁 토큰에 걸쳐 확률 질량을 분산시킵니다. 1 차원 판단 신호를 주입하는 것은 종종 출력을 반전시키지 못합니다. 왜냐하면 신호가 세 개의 끌림자에 걸쳐 분산되어 단일 레이블이 argmax 에 도달하는 것을 막기 때문입니다.
• FTI 증거: 등급 프롬프트에서 분류 프롬프트로 전역 활성화 주입을 수행하면 모듈형 모델 (예: Qwen2.5-7B 는 $\ge 99\%$의 경우 출력 토큰 반전) 에서는 성공하지만, 포맷터가 기하학적으로 격리된 모델 (예: MNLI 에 대한 Gemma-3-27B) 에서는 실패합니다.

4. 평가를 위한 실용적 함의

저자들은 LE 의 1 차원 인과 방향을 제로샷 판단 스칼라로 활용할 수 있음을 입증합니다.

• 작은-$N$ 선호도 데이터 (프롬프트된 출력이 잘 보정되지 않고 감독된 프로브가 과적합되는 경우) 에서는 이 잠재 신호가 감독된 잔여 프로브와 일치하거나 이를 능가합니다.
• 그러나 프롬프트된 어휘가 인간 레이블과 규모가 정렬된 작업 (예: Yelp 1~5 별) 에서는 확률 가중 기대값이 여전히 강력한 기준선이며, 잠재 방향은 이를 능가하지 못합니다.

중요성과 주장

이 논문은 LaaJ 신뢰성에 대한 논쟁을 재정의합니다. 행동적 불일치는 형식 교란 하에서 취약한 말단 매핑을 통해 라우팅된 안정적 내부 판단의 예상되는 서명이며, 근본적인 평가 능력의 실패가 아님을 주장합니다.

• 진단 전환: 진단 질문은 "모델이 일관되게 판단하는가?"에서 "이 출력 명세를 위한 포맷터가 근본적인 판단을 유지하는가?"로 전환됩니다.
• 벤치마크 해석: 형식 간 벤치마크 수준의 신뢰성 비교는 평가의 질보다는 포맷터 기하학을 부분적으로 측정합니다.
• 아키텍처적 통찰: 이 발견들은 깨끗한 내부 추상화가 규모와 함께 보편적으로 나타난다는 가정을 도전합니다; 대신 아키텍처적 선택 (훈련 데이터, 어텐션 희소성, 정규화) 이 모델이 기능적 모듈성을 보이는지 여부를 결정하는 데 중추적인 역할을 합니다.

저자들은 LaaJ 불일치에 대한 해결책은 모델의 핵심 판단 능력을 방해하지 않으면서 **포맷터 (라우팅 메커니즘)**를 대상으로 해야 하며, 이산 출력이 poorly 보정된 영역에서는 프롬프트된 출력에 대한 대안으로 잠재 부분 공간 추출이 유효하다고 결론지었습니다.