LLM Benchmark Datasets Should Be Contamination-Resistant

기술적 요약: LLM 벤치마크 데이터셋은 오염에 강해야 함

문제 제기
대규모 언어 모델 (LLM) 평가의 신뢰성은 벤치마크 데이터셋 오염에 의해 근본적으로 훼손됩니다. 사전 학습 코퍼스가 거의 모든 이용 가능한 텍스트 데이터에서 수조 개의 토큰을 포함하도록 성장함에 따라, 벤치마크 샘플이 학습 중에 점점 더 많이 흡수되고 있습니다. 데이터셋의 공개 가용성과 증류나 파생 데이터셋을 통한 간접 유출로 인해 이 현상이 악화되면서, 모델들이 일반화하는 대신 암기하게 됩니다. 결과적으로 보고된 정확도는 모델의 추론 능력보다는 사전 학습 데이터 회상 능력을 반영하는 경우가 많아, 정적 벤치마크를 구식화하고 성능 지표를 과장합니다. 기존 완화 전략인 사적 벤치마킹, 동적 벤치마킹, 또는 데이터 비오염화 등은 독립적 검증을 위축시키거나, 종단적 비교를 방해하는 이동 표적을 만들거나, 방대하고 이질적인 코퍼스에 대응하지 못하는 등 중대한 단점을 안고 있습니다.

방법론: 오염 저항성 데이터셋 (CRDs)
이 논문은 **오염 저항성 데이터셋 (CRDs)**을 향한 패러다임 전환을 제안합니다. 핵심 명제는 벤치마크 데이터가 표준 사전 학습 파이프라인 중에는 학습 불가능하지만 추론에는 유용한 형태로 공개되어야 한다는 것입니다. 이는 트랜스포머 아키텍처의 학습 및 추론 파이프라인 간의 구조적 비대칭성을 활용하여 달성됩니다.

1. 학습 - 추론 비대칭성:

   • 학습: 다음 토큰 예측을 위해 숨은 상태와 기울기를 계산하기 위해 전체 토큰 시퀀스에 대한 접근이 필요합니다.
   • 추론: 이전 토큰의 키 - 값 (KV) 캐시와 최종 토큰의 두 번째 마지막 레이어 숨은 상태만 사용하여 진행할 수 있으며, 원시 토큰 시퀀스가 필요하지 않습니다.
   • 메커니즘: 평문 프롬프트 ($D$) 대신, 저자들은 변환된 데이터셋 $\phi(D)$를 공개할 것을 제안합니다. 이는 다음으로 구성됩니다:
     • 각 레이어별 KV 캐시 $\{K^{(l)}_{1:t}, V^{(l)}_{1:t}\}_{l=1}^L$.
     • 두 번째 마지막 레이어 숨은 상태 $h^{(L-1)}_t$.
     • 정답 출력 $Y$(평문).
   • 이 형식은 모델이 자기회귀 생성 (추론) 을 수행할 수 있게 하지만, 기울기 계산을 위해 필요한 원시 토큰이 부재하기 때문에 학습 (학습) 에 데이터를 사용하는 것을 방지합니다.

2. 상호운용성 프레임워크:
   특정 모델의 잠재 공간으로 인코딩된 벤치마크에 대해 이질적인 모델들을 평가하는 과제를 해결하기 위해, 논문은 두 가지 패러다임을 제시합니다:

   • 단기 (앵커 모델 + 부분 공간 정렬): 널리 채택된 "앵커" 모델 (예: 특정 LLaMA 변형) 을 지정하여 벤치마크를 인코딩합니다. 대상 모델은 Cross-LoRA(SVD 및 선형 매핑을 통한 부분 공간 정렬) 또는 Trans-LoRA(지식 증류) 와 같은 기술을 사용하여 이러한 인코딩을 자체 잠재 공간으로 변환합니다. 이를 통해 원본 평문에 접근하지 않고도 변환이 가능합니다.
   • 장기 (모델 중립적 상대 표현): 고정된 앵커 샘플 집합으로 정의된 공유 좌표 프레임 위에 모든 모델 잠재 공간을 투영합니다. 상대 표현(앵커에 대한 유사도 벡터) 을 사용하면, 모델들은 특정 표준 인코더 없이도 아키텍처 간 제로샷으로 소통할 수 있습니다.

3. 공식적 속성:
   논문은 CRDs 에 필요한 세 가지 속성을 정의합니다:

   • 비가역성: KV 캐시/숨은 상태에서 원본 평문을 재구성하는 것은 계산적으로 불가능해야 합니다. 논문은 멀티헤드 어텐션 (MHA) 에 대한 역공격이 존재하지만, 현대의 그룹화 쿼리 어텐션 (GQA) 아키텍처에서는 덜 효과적이며, 손실 추상화가 복구 과정을 더욱 방해한다고 지적합니다.
   • 동등성: 모델의 CRD 에 대한 성능은 원본 평문에 대한 성능과 근사해야 합니다 ($M(\phi(D)) \approx M(D)$).
   • 상호운용성: CRD 는 서로 다른 LLM 아키텍처 간에 변환 가능해야 합니다.

주요 기여

• 개념적 프레임워크: 오염 저항성 데이터셋 (CRDs) 의 정의를 공식화하고 학습 불가능하지만 추론 가능한 데이터에 대한 이론적 기초를 확립합니다.
• 아키텍처 활용: KV 캐시 가용성과 토큰 시퀀스 필요성 간의 트랜스포머 파이프라인 내 특정 비대칭성을 식별하고 활용하여 추론은 가능하게 하되 학습은 방지하는 메커니즘을 제시합니다.
• 상호운용성 솔루션: CRDs 가 단일 모델 아키텍처에 잠기지 않도록 보장하기 위한 구체적인 수학적 경로 (부분 공간 정렬 및 상대 표현) 를 제안하여 "모델 특정성" 반론을 해결합니다.
• 평가 프레임워크: CRD 큐레이션, 발견 (변환), 및 모델 평가를 위한 완전한 워크플로우를 제시하며, 변환을 용이하게 하는 "데이터카드" 시스템을 포함합니다.

결과 및 타당성 분석
이 논문은 특정 모델에서 이러한 벤치마크를 실행한 새로운 경험적 결과를 제시하지는 않지만, 타당성을 검증하기 위해 기존 문헌에 의존합니다:

• 저장 오버헤드: 저자들은 KV 캐시 공개에 필요한 저장 공간을 분석합니다. 7B 모델에서 10 만 토큰에 대한 원시 KV 캐시는 약 50GB 일 수 있지만, 논문은 압축 기술 (예: PyramidKV, 양자화, 희소 인코딩) 을 통해 이를 관리 가능한 크기 (예: 10 만 토큰당 약 350MB) 로 줄일 수 있으며 충실도에 미치는 영향은 미미함을 보여줍니다.
• 변환 충실도: 모델 스티칭 및 모델 간 어댑터 전송에 대한 최근 연구를 인용하여, 아키텍처 간 변환은 성능 저하를 제한적으로 초래하며 경우에 따라 추론 속도를 향상시킬 수 있다고 주장합니다.
• 보안: 논문은 MHA 아키텍처에서 역공격이 가능함을 인정하지만, 현대의 GQA 기반 모델과 손실 추상화가 평문 복구를 계산적으로 어렵게 만든다고 논증합니다. 고위험 시나리오를 위해 노이즈 주입 또는 차동 프라이버시와 같은 방어 메커니즘을 제안합니다.

의의 및 주장
이 논문은 벤치마크가 어떻게 공개되어야 하는지에 대한 근본적인 전환을 촉구하는 커뮤니티의 행동 호소로 자신을 위치시킵니다. 그 의의는 다음과 같습니다:

1. 평가 무결성 회복: 벤치마크를 학습 불가능하게 만들어 CRDs 는 LLM 평가의 타당성을 회복하고, 점수가 암기가 아닌 일반화를 반영하도록 보장합니다.
2. 확장성: 병목 현상을 만드는 사적 벤치마킹이나 단명하는 동적 벤치마킹과 달리, CRDs 는 지속적인 재작성이나 중앙 집중식 통제를 요구하지 않는 확장 가능하고 정적인 솔루션을 제공합니다.
3. 실용적 진로: 저자들은 CRDs 가 개방적이고 재현 가능한 평가의 필요성과 데이터 오염의 현실 사이의 균형을 맞추는 실용적인 해결책이라고 주장합니다. 커뮤니티에 다음을 요청합니다:
   • 오염 저항성 방법론을 발전시키기.
   • 지원 플랫폼 및 표준화된 앵커 모델 개발하기.
   • 기존 파이프라인 (예: Hugging Face) 에 CRD 검증 통합하기.

이 논문은 CRDs 가 저장 및 변환 오버헤드와 같은 새로운 복잡성을 도입하지만, LLM 벤치마킹의 장기적 신뢰성을 보장하기 위해 관리 가능하고 필수적이라고 결론지었습니다.