기술 요약: LLM-as-a-Judge에 대한 재고: 소형 언어 모델의 의미론적 용량 비대칭성을 통한 Representation-as-a-Judge

1. 문제 정의

강력한 모델을 프롬프트하여 생성된 출력의 품질을 평가하는 방식인 "LLM-as-a-Judge"는 현재 참조 없는(reference-free) 대규모 언어 모델(LLM) 평가의 지배적인 패러다임입니다. 이 방식은 효과적이긴 하지만, 세 가지 결정적인 한계를 가집니다:

1. 높은 계산 비용: 자기회귀적 디코딩(autoregressive decoding)을 필요로 하므로, 단일 지점 평가를 위해서도 비용이 많이 듭니다.
2. 불투명성: 독점 모델(예: GPT-4)에 대한 의존도는 내부 메커니즘을 검증 불가능하고 해석 불가능하게 만듭니다.
3. 불안정성: 효과가 프롬프트 엔지니어링에 크게 의존하며, 이는 재현성과 견고성에 대한 우려를 낳습니다.

직접적인 프롬프팅을 통해 소형 오픈 소스 언어 모델(SLM)을 판사로 사용하여 이러한 문제를 완화하려는 시도들은 대체로 실패했습니다. SLM은 생성 능력은 약할지라도 의미론적 역량은 더 큰 모델과 유사하다는 선행 연구 결과가 있음에도 불구하고, 직접 프롬프팅을 사용한 SLM은 더 큰 모델에 비해 낮은 성능과 일관성 없는 평가 점수를 생성하곤 합니다. 이러한 불일치는 근본적인 질문을 제기합니다: 소형 모델은 표면적인 생성 능력이 부족하더라도, 그들의 내부 표현(internal representations) 속에 평가에 유효한 신호를 인코딩하고 있는가?

2. 핵심 가설: 의미론적 용량 비대칭성 (Semantic Capacity Asymmetry)

저자들은 의미론적 용량 비대칭성 가설을 제안합니다. 이는 정확한 평가에 필요한 의미론적 용량이 생성에 필요한 용량보다 현저히 낮다는 가설입니다.

• **생성(Generation)**은 담화 계획, 장거리 의존성, 전체 디코딩을 포함하며, 상당한 모델 용량을 요구합니다.
• **평가(Evaluation)**는 불일치, 사실적 오류 또는 논리적 결함을 식별하는 데 집중하며, 저자들은 이러한 요소들이 모델이 일관된 텍스트 출력을 구사하지 못하더라도 중간 은닉 상태(intermediate hidden states)에 이미 접근 가능하다고 주장합니다.

이 가설은 "LLM-as-a-Judge"에서 **"Representation-as-a-Judge"**로의 패러다임 전환을 촉발합니다. 이는 텍s 생성에 의존하는 대신 잠재 표현(latent representations)에서 직접 평가 신호를 추출하는 디코딩 프리(decoding-free) 전략입니다.

3. 방법론: INSPECTOR

이 가설을 실행하기 위해 저자들은 프로빙 기반 프레임워크인 INSPECTOR(Internal Signal Probing and EvaluaTion Of Representations)를 도입합니다. 파이프라인은 세 단계로 구성됩니다:

3.1. LLM 평가 어노테이션 (골드 라벨 생성)

• 응답 생성: 중간 규모 모델($M_{med}$, 예: 10–50B 파라미터)이 벤치마크 쿼리에 대한 응답을 생성합니다. 이 모델은 고품질 및 저품질 샘플의 다양한 분포를 생성하도록 선택되었습니다.
• 점수 산정: 최첨단 대형 모델($M_{large}$, 예: DeepSeek-V3)이 다섯 가지 특정 측면, 즉 **의미론적 일관성(Semantic Consistency), 논리성(Logicality), 정보성(Informativeness), 유창성(Fluency), 사실성(Factuality)**에 대해 응답을 평가합니다.
• 데이터셋 구축: 생성된 (평가 프롬프트, 점수) 쌍은 골드 라벨 데이터셋($D_{prob}$)을 형성합니다. 데이터 균형을 보장하기 위해, 1–5 점수 레벨 간의 샘플 수를 동일하게 맞추기 위해 데이터셋을 다운샘플링합니다.

3.2. 소형 LM 프로빙 (Small LM Probing)

• 입력: 동일한 평가 프롬프트가 소형 언어 모델($M_{small}$, 예: 0.6B–1.7B 파라미터)에 입력됩니다.
• 특징 추출: 텍스트를 생성하는 대신, 프레임워크는 $M_{small}$의 모든 레이어 $\ell$에서 은닉 상태($H^{(\ell)}$)와 어텐션 가중치($A^{(\ell)}$)를 추출합니다.
• 풀링 및 통계: 각 레이어에 대해, 저자들은 풀링된 벡터 집합(mean, last, min, max, concat)과 통계적 특징(attention entropy, norm, variance, entropy)을 계산합니다.
• 레이어 랭킹: 이러한 특징들에 대해 단순 선형 프로브(로지스틱 회귀)를 학습시켜 골드 점수를 예측합니다. 이를 통해 어떤 레이어와 특징 유형이 가장 예측력 있는 평가 신호를 포함하고 있는지 식별합니다.

3.3. 프로빙 분류기 구축

• 특징 조립: 레이어 랭킹을 바탕으로, 가장 정보가 많은 레이어들의 특징을 결합하여 다층 특징 세트를 구성합니다.
• 분류기 학습: 결합된 특징들을 사용하여 다중 클래스 점수(1–5) 또는 이진 품질 라벨(High vs. Low)을 예측하도록 경량 분류기(Logistic Regression, SVM, MLP, Random Forest)를 학습시킵니다.
• 선택: 복잡성을 최소화하면서 성능을 극대화하기 위해 교차 검증을 통해 최적의 구성(레이어 세트, 풀링 방법, 분류기)을 선택합니다.

4. 주요 결과

실험은 다양한 SLM(Qwen3-0.6B/1.7B, Llama-3.2-1B, Llama-3.1-8B)을 사용하여 추론 벤치마크(GSM8K, MATH, GPQA)에서 수행되었습니다.

• 프롬프팅 대비 우위: INSPECTOR는 동일한 소형 모델에 대한 직접 프롬프팅보다 실질적으로 뛰어난 성능을 보였습니다. 다중 클래스 분류에서 F1 점수는 평균 20% 이상 향상되었습니다. 이진 분류에서 프로빙 분류기는 80–90%의 F1 점수를 달성한 반면, 프롬프팅은 종종 무작위 베이스라인을 넘지 못했습니다.
• 대형 모델에 근접: 프로빙 기반의 소형 모델 평가는 파라미터 수가 훨씬 적음에도 불구하고, 필터링 작업에서 풀 스케일 LLM 판사(예: DeepSeek-V3)의 충실도에 근접하는 성능을 보였습니다.
• 모델 크기 독립성: 프로빙 작업에서 더 큰 모델이 반드시 더 작은 모델보다 우수한 것은 아니었습니다. 예를 들어, Qwen3-0.6B는 특정 논리성 작업에서 Qwen3-1.7B보다 우수한 성능을 보였고, Llama-3.2-1B는 유창성 프로빙에서 Llama-3.1-8B를 앞질렀습니다. 이는 스케일링이 평가를 위해 반드시 필요하다는 가설에 도전합니다.
• 데이터 필터링 유용성: 이 방식으로 학습된 분류기는 노이즈가 있는 추론 데이터를 필터링하는 데 매우 신뢰할 수 있는 필터 역할을 합니다. 학생 모델(Llama-2-7B)의 지도 미세 조정(SFT)을 위한 학습 데이터를 필터링할 때, 프로빙 기반 필터는 값비싼 DeepSeek-V3를 필터로 사용하는 것과 유사한 성능을 냈으며, 무작위 필터링보다 훨씬 뛰어난 성능을 보였습니다.

5. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 경험적 발견: 소형 LM이 표면적인 생성 능력은 낮더라도, 내부 표현 속에 풍부한 평가 관련 신호를 인코딩하고 있다는 현상을 식별하고 분석했습니다.
2. 이론적 정식화: 평가가 생성보다 낮은 용량의 작업이며 중간 표현에 기반할 수 있음을 주장하며 의미론적 용량 비대칭성 가설을 공식화했습니다.
3. 패러다임 전환: Representation-as-a-Judge를 도입하고 이를 INSPECTOR를 통해 구체화했습니다. 이는 LLM 프로빙을 평가 작업에 구체적으로 조사한 첫 번째 연구로 제시되며, 현재의 "LLM-as-a-Judge" 패러다임에 대한 확장 가능하고, 해석 가능하며, 비용 효율적인 대안을 제공합니다.

저자들은 이 접근 방식이 효율적인 참조 없는 평가 및 데이터 큐레이션을 가능하게 한다고 결론지으며, 고충실도 판단이 반드시 대규모 생성 모델을 필요로 하는 것이 아니라 더 작고 접근 가능한 모델의 잠재적 특징으로부터 활용될 수 있음을 시사합니다.