🤖 machine learning

Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection

이 논문은 비평탄한 깊이 프로파일을 보정하고 수준이 일치된 플라세보 베이스라인을 사용하여 기존의 더 단순한 프로빙 방법들에 내재된 높은 허위 양성률과 검출력 손실을 방지함으로써, 잔차 스트림 프로브에서의 '과잉 분리성'을 측정하여 트랜스포머의 벤치마크 오염을 탐지하기 위한 강건한 프로토콜을 소개한다.

원저자: Florian Braun

게시일 2026-08-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Florian Braun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생이 시험에서 부정행위를 했는지 알아내려는 탐정이라고 상상해 보십시오. 인공지능의 세계, 특히 "대규모 언어 모델(LLM)"(에세이를 쓰고 수학 문제를 푸는 초스마트 컴퓨터 뇌)의 세계에서 이것은 매우 큰 문제입니다. 이 모델들은 인터넷의 방대한 텍스트 라이브러리를 통해 학습됩니다. 만약 시험 문제 하나가 그 라이브러리에 놓여 있다면, 모델은 실제로 문제를 해결하는 것이 아니라 단지 정답을 "기억"해 내는 것일 수도 있습니다. 이것을 **오염(contamination)**이라고 부릅니다. 만약 모델이 오염되었다면, 그 높은 점수는 거짓입니다. 그것은 똑똑한 것이 아니라 그저 앵무새일 뿐입니다.

오랫동안 부정행위를 잡는 유일한 방법은 교사의 정답지(학습 데이터)를 훔쳐보거나, 라이브库(라이브러리)에서 시험 문제의 정확한 복사본을 찾는 것이었습니다. 하지만 정답지가 없는 경우가 많고, 부정행위자가 질문을 자신의 방식대로 재구성(패러프레이징)했을 수도 있어 이를 찾아내기가 어렵습니다. 최근 몇몇 과학자들은 새로운 기술을 시도했습니다. 그들은 모델이 생각하는 동안 그 "뇌" 내부를 들여다보았습니다. 그들은 모델이 이전에 암기했던 질문을 마주할 때마다 빛을 발하는 아주 작고 보이지 않는 신호, 즉 "친숙함의 방향(familiarity direction)"을 찾기를 희망했습니다. 그것은 마치 불이 정말로 붙었는지 증명하기 위해 굴뚝에서 나오는 특정한 색깔의 연기를 찾으려는 것과 같았습니다.

하지만 여기 반전이 있습니다. Florian Braun의 새로운 논문은 우리가 그 연기를 찾는 방식이 잘못되었다고 지적합니다. 기존의 방식은 건물의 높이를 측정하기 위해 시간과 날씨에 따라 크기가 변하는 그림자를 보는 것과 같았습니다. 이 논문은 노이즈와 속임수를 걸러내는 훨씬 더 똑똑하고 세심한 방식으로 뇌 내부를 들여다보는 방법을 제안합니다. 알고 보니 사람들이 보고 있다고 믿었던 그 "연기"는 불꽃이 아니라 그저 바람이 다르게 불고 있는 것일 수도 있었습니다.

새로운 탐정 도구: RSCP

이 논문은 **잔차 흐름 오염 프로빙(Residual-Stream Contamination Probing, RSCP)**이라는 새로운 프로토콜을 제안합니다. 모델의 "잔차 흐름(residual stream)"을 모델이 문장을 처리할 때 정보가 이동하는 내부 고속도로라고 생각해 보십시오. 기존의 탐지기는 "암기된" 질문과 "새로운" 질문을 구분하기 위해 전체 고속도로를 관찰하려고 했습니다. 문제는 무엇이었을까요? 그 탐지기는 질문의 스타일이 바뀔 때마다 너무 쉽게 흥분하여 오작동했다는 것입니다. 설령 모델이 아무것도 암기하지 않았더라도 말이죠.

저자는 부정행위자를 잡기 위해서는 믿을 수 없을 정도로 정밀해야 한다는 것을 깨달았습니다. 그는 과거의 실수들을 바로잡는 4단계의 "슈퍼 스캔"을 설계했습니다.

정답을 보기 전을 살펴라: 기존의 탐지기들은 모델이 정답을 읽고 난 후의 뇌를 관찰했습니다. 그것은 학생이 이미 해답을 적어 놓은 후에 학생의 뇌를 검사하는 것과 같습니다. 당연히 뇌는 평소와 다르게 보이겠죠! 새로운 규칙은 정답이 공개되기 전의 뇌를 살피라고 말합니다. 이를 통해 탐지기가 단순히 "능력"을 보는 것이 아니라 "친숙함"을 찾도록 보장합니다.
높이가 아닌 모양을 측정하라: 기존 방식은 단일 지점에서의 데이터가 얼마나 "분리 가능한지"를 보았습니다(마치 한 지점에서 산의 높이를 재는 것과 같습니다). 새로운 방식은 뇌의 모든 층을 가로지르는 산의 전체적인 모양을 봅니다. 즉, "신호가 뇌를 통과하며 이동할 때 특정한 패턴을 그리며 오르내리는가?"를 묻는 것입니다.
플라세보 베이스라인(Placebo Baseline): 이 부분이 가장 영리한 부분입니다. 저자는 깨끗하고 정직한 모델조차도 내부 신호가 평평하지 않고 고유의 "모양"을 가지고 있다는 사실을 깨달았습니다. 그것은 마치 심장 박동과 같아서 자연스럽게 오르내립니다. 만약 이 자연스러운 심장 박동을 고려하지 않는다면, 당신은 정상적인 맥박을 심장마비로 착각할 수 있습니다. 그래서 그들은 모델이 본 적이 없다고 확신하는 질문들을 사용하여 "플라세보" 테스트를 만들었습니다. 그들은 깨끗한 질문들에 대한 모델의 자연스러운 "심장 박동"을 측정하고, 이를 실제 테스트 결과에서 뺍니다. 이렇게 하면 노이즈를 상쇄할 수 있습니다.
셔플 테스트(Shuffle Test): 결과가 우연이 아님을 확실히 하기 위해, 그들은 라벨을 수천 번 섞습니다(실제로는 오래된 질문인데 새로운 질문이라고 컴퓨터에게 알려주는 식입니다). 만약 셔플링 후에도 탐지기가 여전히 패턴을 발견한다면, 그것은 가짜 알람입니다. 만약 패턴이 사라진다면, 탐지기가 제대로 작동하고 있는 것입니다.

그들이 발견한 것: 연기는 그저 바람이었다

저자가 이 새로운, 초정밀 스캔을 실제 AI 모델에 적용했을 때, 결과는 놀랍고도 겸허했습니다.

첫째, 그들은 기존의 "평탄한 선(flat line)" 가정이 틀렸음을 확인했습니다. 실제 모델은 "심장 박동"을 가지고 있습니다. 즉, 텍스트를 처리할 때 내부 신호가 오르내립니다. 실제로 어떤 테스트에서는 이 자연스러운 변동이 29.1 정확도 포인트만큼이나 컸습니다. 만약 이 자연스러운 변동(플라세보)을 빼주지 않았다면, 당신은 모델이 그저 정상적인 일을 하고 있을 뿐인데도 부정행위를 하고 있다고 생각했을 것입니다.

둘째, 이 수정된 스캔을 Pile(거대하고 흔한 데이터셋)로 학습된 모델에 적용했을 때, 결과는 깨끗한 **널(null)**이었습니다. 탐지기는 암기(memorization)의 증거를 찾지 못했습니다. 이는 다른 과학자들이 의심해 온 바와 일치합니다. 모델들은 데이터를 너무 많이 봐서 특정 항목을 선형적이고 쉽게 탐지 가능한 흔적을 남기는 방식으로 "암기"하지 않는다는 것입니다. "친숙함 신호"는 너무 약하거나 너무 무질서해서 단순한 선형 프로브로는 포착할 수 없습니다.

그러나 가장 중요한 발견은 그들이 찾지 못한 것에 있습니다. 이전 연구들에서 연구자들은 유사한 프로브를 사용하여 암기의 강력한 증거를 발견했다고 주장했습니다. 하지만 저자가 그 연구들을 검토했을 때, 그 "증거"는 내용이 아니라 모델이 질문의 스타일(예: 출판 날짜 등)에 반응한 것일 뿐임을 깨달았습니다. 새로운 프로토콜은 이러한 스타일 기반의 속임수를 걸러내는 필터 역할을 합니다. 그들이 WikiMIA라는 유명한 데이터셋에 이 새로운 필터를 사용했을 때, 탐지기는 판결을 내리기를 거부했습니다. 왜일까요? "플라세보" 테스트 결과, 블라인드 분류기(뇌 내부를 전혀 들여다보지 않는 분류기)조차도 텍스트 스타일만 보고 두 그룹을 구별할 수 있었기 때문입니다. 기존 방식은 스타일에 속았지만, 새로운 방식은 그 속임수를 잡아내고 "이것이 부정행위인지 아니면 단지 글쓰기 스타일의 차이인지 판단할 수 없다"라고 말한 것입니다.

결론

이 논문은 모델의 뇌를 들여다보는 것은 좋은 아이디어이지만, 지금까지 우리가 해온 방식은 결함이 있었다고 결론짓습니다. "친숙함 신호"는 존재할 수도 있지만, 우리가 생각했던 것보다 훨씬 찾기 어렵습니다.

저자는 "우리가 모델이 부정행위를 하지 않는다는 것을 증명했다"라고 말하지 않도록 매우 주의를 기울였습니다. 대신, "우리의 더 나은 새로운 도구는 이러한 특정 테스트에서 부정행위를 발견하지 못했으며, 기존의 도구들은 아마도 환영을 보고 있었던 것 같다"라고 말합니다. 그들은 모델에게 특정 사항을 암기하도록 강제하고, 우리의 새로운 도구가 그것을 잡아낼 수 있는지 확인하는 더 많은 실험이 필요하다고 제안합니다. 그때까지 "친숙함 신호"는 미스터리로 남아 있을 것이며, 우리가 보는 벤치마크의 높은 점수들은 여전히 실제 지능과 숨겨진 암기 사이의 혼합물일 수 있으며, 현재의 도구로는 이를 완전히 분리해 낼 수 없습니다.

요약하자면, 이 논문은 과학적 겸손함의 정수를 보여줍니다. 인기 있고 흥미로운 아이디어를 가져와서, 그 논리의 허점을 찾아내고, 더 나은 도구를 만든 다음, 그 도구를 사용하여 우리가 보고 있다고 믿었던 흥미로운 결과들이 사실은 환상이었을 가능성이 높다는 것을 보여주었습니다. 이는 과학에서 때때로 가장 중요한 발견은 당신이 보았다고 생각한 것이 사실은 존재하지 않았음을 깨닫는 것임을 상기시켜 줍니다.

기술 요약: 과잉 분리 가능성: 벤치마크 오염 탐지를 위한 노이전스 제어 잔차 스트림 프로빙

1. 문제 제기

벤치마크 오염은 테스트 항목이 모델의 학습 코퍼스에 존재할 때 발생하며, 이는 모델의 능력이 아닌 암기력을 측정하게 함으로써 성능 점수를 부풀립니다. 기존의 탐지 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

N-gram/중첩 검색: 학습 코퍼스에 대한 접근 권한이 필요하지만, 이는 대개 공개되지 않습니다.
우도 기반 멤버십 추론(Likelihood-based Membership Inference): 사전에 지정된 통계량(예: 손실, 로그 확률)을 요구하며, 교환 가능한 분할(exchangeable splits) 하에서는 대규모 코퍼스를 약 한 번 정도 본 경우에 대해 우연 수준(chance)에 가까운 성능을 보이며 실패하는 경우가 많습니다.
카나리 문자열(Canary Strings): 데이터셋 출시 시점에 대한 예견이 필요하므로, 이미 존재하는 벤치마크에는 무용지물입니다.
활성화 프로빙(선행 연구): 잔차 스트림 활성화에 선형 프로브를 훈련시켜 오염을 탐지하려는 최근의 시도들은 결함이 있었습니다. 구체적으로, 평가 세트가 시간적(예: 컷오프 전후)으로 분할될 때, 프로브는 암기가 아닌 표면적인 분포 변화(주제, 스타일)를 학습함으로써 높은 AUC를 달able 수 있습니다. 또한, 이전의 프로토콜들은 종종 모델이 정답을 처리한 이후의 활성화를 추출하여, 암기력과 모델 자체의 과업 수행 능력(competence)을 혼동하는 문제를 범했습니다.

2. 방법론: 잔차 스트림 오염 프로빙 (RSCP)

본 논문은 암기의 신호를 노이전스 변수(표면 텍스트 차이) 및 측정 아티팩트로부터 격리하기 위해 설계된 통계적 프로토콜인 **잔사 스트림 오염 프로빙 (RSCP)**을 제안합니다.

핵심 구성 요소:

교환성 요구 사항 (Requirement E): 참조 세트( $R$ )는 분석가가 모델에 대한 정보 없이 모델을 사용하지 않고도 의심 세트( $S$ )를 우연보다 더 잘 구별할 수 없도록 구축되어야 합니다. 이는 시간적 분할이나 교차 소스 분할을 배제합니다. 유효한 구축 방식으로는 무작위 주입(E1), 위탁된 쌍(commissioned twins, E2), 또는 코퍼스 내 홀드아웃 분할(E3)이 있습니다.
추출 지점 (접두사 규칙): 활성화는 반드시 항목 접두사(item prefix)(정답이 생성되기 전)에서 추출되어야 합니다. 정답 이후에 추출하면 프로브가 친숙도(familiarity)가 아닌 모델의 역량(정확도)을 탐지하게 되어 혼란(confound)을 야기합니다.
노이전스 패밀리 ( $\Phi_0$ ): 모델 독립적인 특징들(bag-of-embeddings, character n-grams, 표면 통계, 참조 모델의 우도 등)을 사용하여 베이스라인 프로브를 훈련시킵니다. 이는 순수하게 텍스트 차이에 의해 달성 가능한 분리 가능성의 수준을 설정합니다.
과잉 분리 가능성 ( $\Delta_\ell$ ): 레이어 $\ell$ 에서의 의심/참조 분할에 대한 프로브의 균형 정확도(balanced accuracy)에서 노이전스 베이스라인 정확도를 뺀 값입니다.
통계량 (깊이 대비): 단순히 과잉 분리 가능성의 수준을 보고하는 대신(이는 노이전스 제어의 차원에 의해 편향될 수 있음), RSCP는 깊이 프로파일에 대한 **제로-섬 대비(zero-sum contrast)**를 보고합니다. 이는 베이스라인 대비 신호의 형태를 측정합니다.
플라세보 베이스라인: 표면 디코더빌리티(decodability)가 층 전체에 걸쳐 평탄하지 않다는 점(종종 상승했다가 하락함)을 교정하기 위해, 프로토콜은 참조 세트 자체의 분할을 사용하여 수준이 일치하는 플라세보 베이스라인을 구축합니다. 최종 통계량은 이 플라세보를 기준으로 깊이 프로파일을 재중심화합니다.
추론: 레이블을 셔플링하고 각 순열마다 프로브를 **재적합(refit)**하는 순열 검정(permutation test)을 사용합니다. 이는 아이템 부트스트랩(프로브를 고정하는 방식)이 포착하지 못하는 프로브 적합의 분산을 포착합니다.

3. 주요 기여

본 논문은 두 개의 구조적으로 상이한 시뮬레이터를 통한 경험적 검증을 통해, 선행 프로빙 접근 방식의 네 가지 구체적인 실패 사례를 식별하고 교정합니다:

수준 vs 형태: 절대적인 과잉 분리 가능성 수준을 보고하는 것은 노이전스 제어 세트의 크기와 차원에 의한 편향을 상속받으므로 유효하지 않습니다. 레이어를 가로지르는 제로-섬 대비는 이를 대수적으로 상쇄합니다.
평탄한 프로파일 가정: 표면 디코더빌리티가 깊이에 따라 평탄하다고 가정하는 것은 (프로파일이 상승할 경우) 거짓 양성을 초래하거나 (하락할 경우) 검출력을 상실하게 만듭니다. RSCP는 모델의 실제 깊이 의존적 행동을 교정하기 위해 수준 일치 플라세보를 사용하여 프로파일을 재중심화합니다.
Null 분산: 적합된 프로브를 고정하는 아이템 부트스트랩은 분산을 과소평가합니다. RSCP는 프로브를 재적합하는 순열 Null을 사용하여 적합의 분산을 올바르게 포착합니다.
샘플 크기 매칭: 비교 대상의 절반 크기로 추정된 베이스라인은 비교 가능하지 않습니다. RSCP는 참조 세트가 의심 세트의 두 배 크기( $|R| = 2|S|$ )가 되도록 요구하며, 그 중 절반은 비교에, 나머지 절반은 플라세보에 사용합니다.

4. 결과

합성 검증:

진정한 귀무 가설(true null) 하에서, 교정된 프로토콜은 다양한 노이전스 차원과 깊이 프로파일 형태에서도 명목상 거짓 양성율(0.05)을 유지하는 반면, 교정되지 않은 대안들은 처참하게 실패합니다(최대 0.99의 거짓 양성율 도달).
프로토콜은 임베딩 레이어와 프로파일 피크 사이의 약 1~2 정확도 포인트 차이에서 0.8의 검출력(power)을 달성합니다.

경험적 감사 (1단계):

실제 깊이 프로파일: 실제 Pythia 모델에서 베이스라인 깊이 프로파일은 평탄하지 않습니다. 이들은 최대 29.1 정확도 포인트에 달하며 험프(hump) 형태를 띱니다. 이러한 비평탄성은 표면 차이와 강한 상관관계(0.87)를 가지며, 플라세보 교정의 필요성을 입증합니다.
부정 대조군 (Negative Controls): 잘 매칭된 분할(Pile train vs. validation)에서 프로토콜은 모델이 한 번만 본 경우의 문헌 예측(거의 우연 수준의 성능)과 일치하게 부정 조정 통계량과 함께 귀무 결과를 반환합니다.
시간적 분할: WikiMIA(시간적 분할)의 경우, 프로토콜은 참조 세트가 교환성 요구 사항을 충족하지 못하기 때문에(블라인드 분류기가 0.855 정확도를 달성) 판정을 거부합니다.
의도적으로 오염된 체크포인트: (교환성이 구성상 유지되는) 데이터가 주입된 Oren 등의 체크포인트에서, 프로토콜은 중복 횟수가 $m=50$ 일 때도 유의미한 신호를 찾지 못하며, 이는 $m=1, 2$ 에서 거의 우연 수준의 AUC를 보였던 선행 연구의 귀무 결과를 확장합니다.

5. 의의 및 주장

본 논문은 트랜스포머가 "친숙도 방향(familiarity direction)"을 운반한다는 결정적 증거를 제시하기보다는, 잔차 스트림을 프로빙하기 위한 교정된 통계적 프로토콜을 제공한다는 점을 겸허히 주장합니다.

프로토콜의 작동: 저자는 단순한 대안들이 실패하는 합성 조건 하에서 자신들의 특정 통계적 구성(대비, 플라세보, 순열 재적합)이 어떻게 올바르게 작동하는지 입증합니다.
과학적 개방성: 본 논문은 트랜스포머가 선형적으로 디코딩 가능한 친숙도 신호를 운반하는지 여부를 확립하지 않는다고 명시적으로 밝힙니다. 문헌상의 유일한 긍정적 결과(Liu et al.)는 교환성 체크를 통과하지 못한 분할에서 나온 것이었습니다. 본 논문에서 교환성 체크를 통과한 유일한 분할(Oren et al.'s injection)은 귀무 결과를 반환했습니다.
시사점: 연구 결과는 활성화 프로빙에서의 이전의 높은 AUC 결과가 아마도 분포 변화(시간적 분할)나 방법론적 결함의 산물이었을 가능성을 시사합니다. 저자는 만약 친숙도 신호가 존재한다면, 그것은 현재의 선형 프로브의 탐지 하한선 아래에 있거나, 혹은 선형적으로 디코딩 가능하지 않을 수 있다고 주장합니다.

저자는 결론적으로, 우리는 널(null) 깊이 프로파일이 어떤 모습이어야 하는지 가정하는 것을 멈추고, 대신 모델별로 이를 측정해야 한다고 말합니다. 저자는 구현체, 테스트 스위트, 그리고 통제된 주입 실험을 통해 탐지 하한선( $m^*$ )과 포화 지점을 결정하기 위한 사전 등록된 후속 프로그램을 공개합니다.