기술적 요약: 배포 관련 정렬은 모델 수준 평가만으로 추론될 수 없음

문제 제기

현재 기계 학습의 정렬 평가는 주로 모델 수준 또는 응답 수준 지표에 초점을 맞추고 있습니다. 영향력 있는 벤치마크는 고정된 입력 하에서 모델 출력에 점수를 매기며 (예: 진실성, 지시 준수, 쌍별 선호도), 이러한 점수를 배포 정렬에 대한 주장에 대한 충분한 증거로 간주합니다.

본 논문은 이러한 추론이 유효하지 않다고 주장합니다. 배포 관련 정렬은 모델 ($M$), 스캐폴딩 ($S$-프롬프트, 메모리, 도구, UI), 그리고 배포 컨텍스트 ($C$-사용자 집단, 감독, 정책) 간의 상호작용에 의존하는 시스템 수준의 현상입니다. 기존 벤치마크는 $S$와 $C$를 고정하거나 무시하기 때문에, 검증 지원, 프로세스 조종 가능성, 또는 수리 부담의 분포와 같은 배포된 시스템에 필수적인 속성을 측정할 수 없습니다. 본 논문은 "비식별성 (non-identifiability)" 문제를 제기합니다: $M$만 평가하는 것은 $S$의 차이로 인해 극적으로 다른 정렬 관련 행동을 보이는 동일한 모델의 서로 다른 배포를 구별할 수 없다는 것입니다.

방법론

본 논문은 입장을 지지하기 위해 두 가지 주요 실증 연구를 수행합니다:

1. 구조화된 벤치마크 감사

• 범위: 11 개 주요 벤치마크 (메타 평가 통제인 JudgeBench 포함) 에 대한 이중 코딩 감사 및 총 16 개 벤치마크로 확장.
• 평가 기준: 상호작용 및 배포 수준 정렬 문헌 (Terry 등, Shen 등, 그리고 그라운딩/수리에 대한 실증 연구) 에서 도출된 8 차원 평가 기준. 차원은 다음과 같습니다:
  • D1: 명세 정렬 (미세명세 요청 처리).
  • D2: 프로세스 정렬/조종 가능성 (추론 과정에 대한 사용자 통제).
  • D3: 평가 정렬/검증 지원 (사용자가 출력을 검증하도록 돕는 것).
  • D4: 다중 턴 컨텍스트 유지.
  • D5: 그라운딩/공통 기반.
  • D6: 수리 부담 분포.
  • D7: 개인화/사용자별 정렬.
  • D8: 워크플로우/감독 현실성.
• 프로토콜: 두 명의 훈련된 외부 코더가 독립적으로 0~2 고정 척도 (0: 부재, 1: 부분적/우발적, 2: 실질적) 로 벤치마크를 점수화했습니다. 이견은 고정점 주도 조정을 통해 해결되었습니다.
• 신뢰도: 16 개 벤치마크 코퍼스의 128 개 셀에 걸쳐 코헨의 $\kappa$는 0.87 이었습니다.

2. 블라인드 교차 모델 스트레스 테스트

• 설계: 모델 가중치 ($M$) 와 배포 컨텍스트 ($C$) 를 대략 고정하고 상호작용 스캐폴딩 ($S$) 만 변형하는 연구.
• 변수:
  • 모델: 세 가지 최첨단 모델 (Claude-Opus-4.7, GPT-4o, Llama-4-Scout).
  • 스캐폴드: 일반 채팅봇 (C1) 에서 명시적 검증 지원 프롬프트 (C4) 에 이르는 네 가지 조건.
  • 데이터: 의료, 법률, 기술 분야에 걸친 180 개의 대화 기록 (모델당 60 개).
• 프로토콜: 대화 기록은 블라인드 처리되고 시스템 프롬프트가 제거된 후, 두 명의 평가자가 D1, D2, D3 를 위해 코딩했습니다. 이견은 보수적 최소 정책 (conservative-min policy) 을 사용하여 해결되었습니다.

주요 발견

벤치마크 감사에서

1. D3 공백: 11 개 감사된 벤치마크 전반에 걸쳐 검증 지원 (D3) 이 부재합니다. 어떤 벤치마크도 모델의 출력이 사용자가 답변을 검증, 비판, 또는 이해하는 데 도움이 되는지 명시적으로 평가하지 않습니다.
2. 조종 가능성의 부재에 가까운 상태: 프로세스 조종 가능성 (D2) 은 거의 부재하며, $\tau$-bench 하나에서만 0 이 아닌 점수를 받았으며, 그곳에서도 명시적 사용자 통제가 아닌 부분 점수에 불과했습니다.
3. 상호작용 벤치마크의 단편화: 식별된 네 가지 상호작용 벤치마크 (CURATe, Rifts, $\tau$-bench, Common Ground) 는 서로 다른, 겹치지 않는 차원 하위 집합을 측정합니다. 상호작용 정렬을 위한 통합된 평가 목표는 존재하지 않습니다.
4. 구축이 측정을 결정함: 평가의 구조 (벤치마크가 어떻게 구축되는지) 가 측정되는 것을 결정하며, 데이터 소스가 결정하는 것이 아닙니다. 예를 들어, WildBench 는 실제 사용자 로그를 사용하지만 단일 응답 체크리스트를 점수화하여 생태학적 현실성에도 불구하고 상호작용 속성을 포착하지 못합니다.

교차 모델 스트레스 테스트에서

1. 모델 의존적 스캐폴드 효율성: 동일한 스캐폴딩 ($S$) 이 모델 간에 범주적으로 다른 행동 결과를 생성합니다.
   • Claude-Opus-4.7: 매우 가소적임; C4 검증 스캐폴드가 D3 점수를 0.42 에서 2.00 (천장) 으로 높였습니다.
   • GPT-4o: 포화 상태; 동일한 C4 스캐폴드가 D3 에 측정 가능한 영향을 전혀 미치지 않았습니다 (0.33 유지).
   • Llama-4-Scout: 부분적으로 역전됨; 모든 스캐폴드에서 약한 민감도와 D2 의 범주적 부재를 보였습니다.
2. 함의: 감사에서 식별된 격차 (상호작용 속성 측정 부재) 는 모델 수준에서 해결될 수 없습니다. 스캐폴드 효율성 자체가 모델 가중치의 함수이기 때문입니다.

주요 기여

1. 레벨 인덱싱 프레임워크: 본 논문은 네 가지 수준의 정렬 평가를 구분할 것을 제안합니다: 모델 수준 (가중치/목표), 응답 수준 (고정 입력 하의 출력), 상호작용 수준 (다중 턴 속성), 그리고 배포 수준 (워크플로우 내 시스템). 주장은 증거 수준에 인덱싱되어야 한다고 주장합니다.
2. 구조화된 감사 증거: 현재 벤치마크 생태계가 특히 D2 와 D3 를 포함한 중요한 상호작용 차원을 체계적으로 측정하지 못한다는 실증적 증거를 제공합니다.
3. 비식별성 증명: 스트레스 테스트를 통해 $B = f(M, S, C)$는 $M$만으로는 추론될 수 없음을 입증했습니다. $S$는 모델 의존적인 방식으로 $M$과 상호작용하기 때문입니다.
4. 평가 의제: 단일 정렬 점수에서 정렬 프로파일로의 전환을 제안합니다. 여기에는 다음이 포함됩니다:
   • 여덟 가지 차원에 걸친 증거 보고.
   • 비교 가능한 상호작용 평가를 위한 고정 스캐폴딩 프로토콜 사용.
   • 저자들이 주장의 범위 (어떤 $M, S, C$ 구성이 증거를 지지하는지) 를 명시적으로 진술하도록 강제하는 6 행 보고 템플릿 (부록 G.1).

중요성 및 주장

본 논문은 배포 정렬된 주장을 허가하기 위해 응답 수준 벤치마크에 대한 분야의 의존성이 구조적으로 결함이 있다고 주장합니다. 벤치마크 성능과 배포된 행동 사이의 "추론 격차"는 현재 인정되는 것보다 더 큽니다.

이 연구의 중요성은 다음과 같습니다:

• 주장의 범위 수정: 모델 수준 증거가 배포 수준 주장에 불충분하며, 더 많은 응답 수준 벤치마크를 추가하는 것이 문제를 해결하지 못한다고 주장합니다.
• 방법론적 엄격성: 정렬 주장이 수집된 증거 수준에 명시적으로 범위 설정되는 프레임워크를 도입하여 모델 속성과 시스템 행동을 혼동하는 것을 방지합니다.
• 실증적 검증: 상호작용 속성이 모델에 내재된 것이 아니라 시스템 ($M+S+C$) 의 창발적 속성이며, 동일한 스캐폴딩에서도 모델 간에 이러한 속성이 크게 달라진다는 직접적인 증거를 제공합니다.

본 논문은 모델 수준 평가가 무용하다고 주장하는 것이 아니라, 배포 주장에는 불충분하다고 주장합니다. 커뮤니티가 모델에만 초점을 맞추는 대신 시스템, 상호작용, 사용자를 고려하는 평가 어휘와 프로토콜을 개발할 것을 촉구합니다.