Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

기술 요약: 벤치마크의 벤치마킹

문제 제기
표준화된 평가 설정, 특히 정적인 다중 선택 상식 벤치마크는 대규모 언어 모델(LLM)의 능력을 추론하는 데 널리 사용된다. 그러나 이러한 벤치마크의 성능이 실제 세계의 작업에서 나타나는 다운스트림 행동을 예측하는 정도는 여전히 불분명하다. 기존 벤치마크의 결함(예: 아티팩트, 오염, 불안정한 주석)은 잘 알려져 있으나, 핵심적인 질문은 변화했다: 재작업된(reworked) 벤치마크—알려진 결함을 완화하도록 설계된—가 실제로 준거 타당도(downstream outcomes를 예측하는 능력)를 개선하는가, 아니면 단순히 모델의 상대적 순위만을 유지할 뿐 능력 추론을 위한 유용성을 높이지는 못하는가?

방법론
본 연구는 1B에서 72B 파라미터 범위에 걸친 6개 제품군(Llama 3, Gemma 2, Pythia, OPT, Qwen 2.5, Mistral)의 23개 오픈 웨이트 LLM을 평가한다. 실험 설계는 다음 네 가지 차원에 대한 포괄적인 비교를 포함한다:

1. 벤치마크 쌍: 저자들은 네 가지 기성 상식 벤치마크와 그 재작업된 변형들을 평가한다:
   • WinoGrande vs. WinoWhat (의역됨)
   • HellaSwag vs. GoldenSwag (필터링됨)
   • Social IQA vs. Social IQA filtered
   • Physical IQA vs. Physical IQA-RUP (의역됨)
2. 다운스트림 작업: 모델들은 세 가지 개념적 축으로 분류된 암시적 추론이 필요한 8가지 다운스트림 작업에서 테스트된다:
   • 사회적/정서적(Social/Emotional): CEI, SARC7, False Beliefs.
   • 화용론적(Pragmatic): Implicature, Presupposition, Indirect Requests.
   • 사건/물리적(Event/Physical): TimeDial, TRIP.
3. 제어 벤치마크(Control Benchmarks): 상식 특유의 능력과 일반적인 모델 능력을 구분하기 위해, 본 연구는 비상식 제어 벤치마크인 BLiMP, GPQA-Diamond, MMLU-Redux를 포함한다.
4. 평가 프로토콜: 모든 작업은 균일성을 보장하기 위해 로그 가능도(log-likelihood) 기반의 다중 선택 설정을 활용한다. 분석에는 다음이 사용된다:
   • 모델 순위를 평가하기 위한 쌍별 스피어만 상관계수(Pairwise Spearman correlations).
   • 모델 크기, 제품군 및 제어 벤치마크 성능을 통제한 부분 스피어만 상관계수(Partial Spearman correlations).
   • 보지 못한 모델 제품군에 대한 예측 타당도를 테스트하기 위한 Ridge 회귀를 이용한 Leave-one-family-out 교차 검증(LOFOCV).
   • 신뢰 구간 추정을 위한 Fisher-z 변환 및 비모수적 부트스트래핑.

주요 기여 및 결과

• 순위 보존 vs. 타당도: 연구 결과, 재작업된 벤치마크는 원본 벤치마크의 모델 순위를 대체로 보존한다. 예외적으로 WinoWhat은 WinoGrande 및 다른 벤치마크와 상관관계가 낮게 나타났는데, 이는 이 모델이 다른 모델 행동을 포착하고 있음을 시사한다. 그러나 이러한 수정이 다운스트림 예측 타당도를 체계적으로 개선하지는 않는다. 대부분의 경우, 다운스트림 작업에 대한 원본과 재작업된 벤치마크 간의 상관관계 차이는 미미하다. 특히, 원본 WinoGrande는 재작업된 변형인 WinoWhat보다 False Beliefs 작업에 대해 실질적으로 더 높은 예측력을 가진다.
• 다운스트림 작업으로의 좁은 전이: 상식 벤치마크는 특정 하위 집합의 다운스트림 작업에 대해서만 일관된 교차 제품군 예측 타당성을 보인다.
  • 가장 강력한 예측 인자: False Beliefs와 TRIP은 상식 벤치마크 점수와 가장 강력하고 일관된 연관성을 보인다.
  • 지표 특이적 이득: Implicature, Indirect Requests, TimeDial은 특정 지표(예: macro-F1 또는 accuracy)에서만 이득을 보이며, 두 지표 모두에서 나타나지는 않는다.
  • 낮은 예측력: CEI(정서적 추론)와 SARC7(사카즘)은 상식 벤치마크에 의해 여전히 예측이 어렵다.
• 도메인 특이성 부족: 벤치마크가 동일한 개념적 축 내의 다운스트림 작업으로 가장 잘 전이될 것이라는 가설(예: Social IQA가 사회적 작업을 예측함)은 지지되지 않는다. Event/Physical 벤치마크는 물리적 개연성 작업과 일부 정렬을 보이지만, 화용론적 축은 반대의 패턴을 보인다. 전반적으로, 매칭된 쌍(matched pairs)이 불일치하는 쌍(mismatched pairs)보다 약한 경우가 많으며, 이는 벤치마크 레이블이 미세한 다운스트림 능력에 안정적으로 매핑되지 않음을 나타낸다.
• 일반적 능력 vs. 특정 기술: 모델 크기, 제품군 및 비상식 제어 벤치마크 성능을 통제했을 때, 대부분의 상관관계의 통계적 유의성은 감소한다. 이는 관찰된 전이가 상식 특유의 추론보다는 광범위한 모델 능력(broad model capability)을 반영하는 경우가 많음을 시사한다. 그러나 LOFOCV 결과는 상식 점수가 False Beliefs와 TRIP에 대해 여전히 일부 증분적이고 교차 제품군적인 정보를 보유하고 있음을 보여준다.

의의 및 주장
본 논문은 표준화된 상식 벤치마크가 다운스트림의 상식적 역량에 대해 작업 의존적인 증거를 제공한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 수정이 타당성을 보장하지 않음: 데이터셋을 정제하여 아티팩트나 모호성을 제거하는 것은 내부적 품질을 개선하지만, 이것이 자동으로 더 나은 준거 타당도나 모델 선택을 위한 더 유용한 지표로 이어지지는 않는다.
2. 제한된 일반화 가능성: HellaSwag, Social IQA, 또는 Physical IQA와 같은 벤치마크의 성능을 화용론적, 사회적, 또는 맥락적 추론 능력에 대한 광범al적인 증거로 해석해서는 안 된다. 벤치마크 점수와 다운스트림 작업 사이의 관계는 불균형하며, 벤치마크 메타데이터가 암시하는 하위 도메인과 일치하는 경우가 드물다.
3. 평가 패러다임의 전환: 연구는 벤치마킹 패러다임의 전환을 촉구한다. 고립된 정적 데이터셋을 반복적으로 정제하기보다, 커뮤니티는 점수가 특정 행동과 응용 분야에 대해 입증 가능한 정보를 제공하는 평가 스위트를 구축하는 데 우선순위를 두어야 한다. 모델 능력에 대한 주장은 준거 타당성에 대한 증거를 필요로 한다. 즉, 점수는 일반적인 모델 능력을 넘어 다른 맥락과 형식에서 의도된 능력을 구체화하는 외부 작업으로 일반화되어야 한다.

저자들은 상식 벤치마크가 False Beliefs나 TRIP과 같은 특정 작업에는 유익하지만, 별개의 상식 하위 기술이나 광범위한 화용론적 역량에 대한 미세한 주장을 신뢰성 있게 뒷받地지 못한다고 결론짓는다.