SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

기술 요약: SafetyRepro: 정렬 벤치마크에서의 구성 조건부 순위 불안정성

문제 제기
본 논문은 대규모 언어 모델 (LLM) 정렬 벤치마크의 재현성에서 발생하는 치명적인 격차를 다룹니다. 문헌에서 "모델 A 가 모델 B 보다 안전하다"와 같은 쌍별 비교가 정량적 판단으로 간주되지만, 이러한 비교는 중요한 구성 선택 사항이 미구현된 평가 하네스에 의존합니다. 평가자는 프롬프트 템플릿, 디코딩 설정, 퓨샷 (few-shot) 수준, 점수 부여 규칙, 양자화 방식을 선택해야 합니다. 저자들은 이러한 선택 사항들이 종종 타당하지만 벤치마크 논문에서 미구현되어, 동일한 모델 쌍이 하네스 구성에 따라 모순되는 순위를 산출하는 재현성 부재로 이어진다고 주장합니다.

방법론
저자들은 유한한 구성 범위 내에서 쌍별 순위의 안정성을 테스트하기 위해 "커밋 스탬프" 평가 프로토콜을 구축했습니다.

• 실험 그리드: 본 연구는 TruthfulQA, BBQ, ToxiGen, CrowS-Pairs, XSTest 등 다섯 가지 정렬 관련 벤치마크에 걸쳐 세 가지 7~9B 오픈 가중치 지시 튜닝 모델 (Qwen-2.5-7B-Instruct, Mistral-7B-Instruct-v0.3, Yi-1.5-9B-Chat) 을 평가했습니다.
• 구성 범위: 각 (모델, 벤치마크) 쌍에 대해 네 가지 축을 변화시키는 612 셀 그리드를 스윕했습니다.
  1. 프롬프트 템플릿: 네 가지 수준 (최소, 역할 기반, 상세, 체인 오브 씽킹).
  2. 디코딩: 세 가지 수준 (Greedy, T=0.3, T=0.7).
  3. 퓨샷: 세 가지 수준 (0, 3, 5 샷).
  4. 점수 부여: 두 가지 수준 (자유 형식 정규식 추출 vs 로그 확률 argmax).
• 제약 조건: 그리드는 NF4 양자화 (16GB 소비자 하드웨어 시뮬레이션) 와 벤치마크당 고정된 항목 하위 집합으로 고정되어, 데이터 하위 샘플링 변동성이 아닌 하네스 변동성을 격리했습니다.
• 지표:
  • 연산자 제어 가능 쌍별 불일치율 ($\rho_{flip}$): $\min(N_+, N_-) / |C_b|$로 정의되며, 여기서 $N_+$와 $N_-$는 각각 모델 A > 모델 B 및 모델 B > 모델 A 인 구성의 수입니다. 이 지표는 범위 내 엄격한 반전의 존재를 측정합니다.
  • 순위 일치도 ($\tau_R$): 유도된 3 모델 순위에 대한 평균 켄달 $\tau$.
  • 분산 귀속: 모델 식별자와 구현 축 (템플릿, 디코딩, 퓨샷) 간의 분산을 분할하기 위한 4-way Type-II ANOVA.
• 사례 연구: 별도의 분석은 세 가지 주요 평가 패키지 (lm-evaluation-harness, HELM-lite, Inspect AI) 에서 단일 명목 앵커 구성 (Qwen2.5-7B-Instruct) 을 다시 실행하여 구현의 비동등성을 입증했습니다.

주요 발견

1. 보편적 순위 불안정성: 테스트된 모든 벤치마크에서 구성 선택만으로도 모델 간의 쌍별 판정을 뒤집기에 충분했습니다. 지표 $\rho_{flip}$은 모든 벤치마크에서 0 이 아니었으며, 이는 테스트된 범위 내에서 엄격한 순서가 식별 가능하지 않음을 나타냅니다.
2. 최대 불안정성:
   • XSTest: 가장 변동성이 큰 벤치마크로, 전체 범위 내에서 세 모델의 가능한 모든 여섯 가지 순서가 도달 가능합니다. "코어 티어" (스트레스 티어 CoT 및 다양한 디코딩 제외) 에서도 6 가지 순서 중 5 가지가 여전히 도달 가능합니다.
   • TruthfulQA: 전체 범위에서 가장 높은 쌍별 불일치율 ($\rho_{flip} \approx 47.9\%$) 을 보였으며, 코어 티어에서는 약 40.7% 였습니다.
   • BBQ 및 ToxiGen: 또한 상당한 불안정성을 보였으며, 각각 $\rho_{flip}$ 값이 약 43.8% 및 35.4% 였습니다.
3. 구현 대 모델 우세: 분산 분할은 BBQ, ToxiGen, XSTest 등 네 가지 자유 형식 벤치마크 중 세 곳에서 구현 주 효과가 모델 식별자만큼 많거나 더 많은 총체적 분산을 설명한다고 밝혔습니다. TruthfulQA 만이 모델에 의해 지배되었습니다. 상호작용 효과는 컸으며 (41~54%), 이는 분할이 정밀한 비율보다는 질적 방향임을 시사합니다.
4. 점수 부여 경로 민감성: 자유 형식 정규식 파싱과 로그 확률 argmax 점수 부여 간 전환은 실질적으로 다른 점수를 생성했습니다 (교차 패키지 연구에서 BBQ 에서 최대 22.7 퍼센트 포인트, TruthfulQA 에서 21.7 퍼센트 포인트), 이는 서로 다른 점수 부여 경로가 비동등한 후보 객체를 측정함을 확인시켜 주었습니다.
5. 교차 패키지 비동등성: 세 가지 다른 평가 패키지에서 동일한 명목 구성을 실행하면 최대 22.7 퍼센트 포인트의 점수 편차가 발생합니다. 이는 단일 축 패키지 효과가 아닌 구현 비동등성 (서로 다른 후보 객체, 프롬프트 보일러플레이트, 그리고 정답 매핑) 에 기인합니다.

공헌

1. 지표: 정의된 실무 기반 범위 내에서 엄격한 순위 반전의 존재를 정량화하는 구성 조건부 지표인 연산자 제어 가능 쌍별 불일치율($\rho_{flip}$) 의 도입.
2. 데이터: 커밋 스탬프가 찍힌 구성 규칙을 포함하는 15 개의 (모델, 벤치마크) 쌍을 다루는 공개 가능한 612 셀 평가 그리드.
3. 증거: 세 가지 주요 평가 패키지 간의 구현 비동등성을 보여주는 사례 연구로, 구성을 공개하는 것만으로는 다른 하네스 간 점수 재현성을 보장하기에 불충분함을 입증.
4. 도구: 점수와 함께 하네스 구성을 기록하기 위한 연구 수준의 공개 템플릿 (GRID 카드) 으로, 투명성을 개선하지만 구성 주변을 조작하는 주장자들의 문제를 해결하지는 못함을 인정.
5. 견고성 검증: 단일 가족 혼란을 배제하지만 일반적인 확장 법칙을 주장하지는 않는 보수적 코어 서브 범위 (4 구성) 와 교차 가족 규모 프로브 (7B 대 32B/34B) 분석.

의의 및 주장
본 논문은 모델 A 를 모델 B 보다 위에 순위 매기는 벤치마크 점수가 모델 자체만이 아닌 (모델, 하네스) 쌍의 속성이라고 주장합니다. 저자들은 모델과 특정 하네스 구성 모두를 공개하지 않는 한 이러한 순위는 재현될 수 없다고 주장합니다.

의의는 주어진 구성 그리드에서 쌍별 순위가 엄격한 반전 없이 자유로운지 여부를 판단하는 한 줄 테스트 (명제 1) 를 제공함으로써 "이론 - 벤치마크 루프"를 닫는 데 있습니다. 저자들은 그들의 발견이 제한적임을 강조합니다. 즉, "LLM 평가 재현성"을 인구 집단으로 측정했다고 주장하지도, 재현성을 해결했다고 주장하지도 않습니다. 대신, 고의적으로 제한된 실무 기반 범위 (소비자 하드웨어, 특정 모델 크기, 고정된 항목 하위 집합) 내에서 "엄격한 순서" 원시 연산자가 안정적인 진실을 식별하지 못함을 입증합니다. 논문은 출판된 순위 중 어떤 것이 식별되는지 인증하는 데 새로운 이론이나 새로운 컴퓨팅 자원이 필요한 것이 아니라, 이 구성 조건부 테스트를 적용하는 것임을 결론지었습니다.