🤖 machine learning

LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

본 논문은 기존 출력 수준 탐지 방법보다 우수한 성능을 보이는 강화 학습 후 학습된 대규모 언어 모델의 데이터 오염을 증폭된 교란 민감도, 방향성 붕괴, 국소적 강성 같은 기하학적 편차를 식별함으로써 탐지하는 계층별 표현 분석 프레임워크인 LaRA 를 소개한다.

원저자: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minju Gwak, Minseo Kwak, Dongseok Lee, Guijin Son, Alan Ritter, Jaehyung Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"LaRA: RL 사후 학습에서 데이터 오염 탐지를 위한 계층별 표현 분석"이라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어보겠습니다.

큰 문제: 시험지 속의 "요약 노트"

수학 문제를 해결하도록 훈련된 천재 학생 (대형 언어 모델) 을 상상해 보세요. 여러분은 그 학생에게 공부할 거대한 연습 문제 도서관을 제공합니다. 하지만 그 책들 중 일부의 "연습" 문제들이 실제로는 기말고사에 출제될 정확히 동일한 문제라는 것입니다.

이것을 데이터 오염이라고 합니다. 학생이 공부하는 동안 기말고사 문제의 답을 외워버린다면, 시험에서 만점을 받을 수는 있지만 실제로 생각하거나 추론하는 법을 배운 것은 아닙니다. 그들은 단순히 요약 노트를 외운 것뿐입니다.

오랫동안 과학자들은 학생의 최종 답안을 살펴봄으로써 이러한 부정행위를 적발하려 했습니다. 그들은 물었습니다: "학생이 너무 자신 있게 들리는가? 너무 빠르게 답하는가?" (이것들을 출력 수준 신호라고 합니다).

문제점: "강화 학습 (RL)"이라는 새로운 시대에서 학생은 단순히 단어를 외우는 것이 아니라 해결책에 이르는 다양한 경로를 시도하며 배웁니다. 이러한 이유로, 최종 답안만 살펴보는 것은 최종 성적만 보고 부정행위자를 잡으려는 것과 같습니다. 이는 종종 너무 늦은 경우가 많으며, 부정행위자는 쉽게 좋은 성적을 위조할 수 있습니다.

해결책: LaRA (X-레이 시력)

저자들은 LaRA라는 새로운 방법을 제안합니다. 최종 답안을 보는 대신, LaRA 는 학생이 생각하는 동안 그 학생의 뇌 내부를 살펴봅니다.

학생의 뇌를 여러 층 (레이어) 이 있는 다층 건물로 상상해 보세요. 질문이 건물을 올라감에 따라 학생의 이해는 각 층마다 변합니다.

정상 학습: 학생이 새로운 질문을 접할 때, 그 뇌는 유연합니다. 질문의 표현을 약간 변경 (교란) 하면, 학생의 내부 사고는 자연스럽게 변하고 적응합니다.
암기 (오염): 학생이 답을 외웠을 때, 그 뇌는 경직됩니다. 마치 미리 녹음된 대본을 가진 로봇과 같습니다. 질문을 약간 변경하면, 로봇의 내부 대본은 어떻게 조정해야 할지 모르거나 당황하여 비정상적이고 기이한 방식으로 변합니다.

LaRA 의 작동 방식: 세 가지 "테스트"

LaRA 는 탐정처럼 학생에게 같은 질문을 세 가지 약간 다른 방식으로 물어보고, 그 학생의 내부 뇌파 (표현) 가 어떻게 반응하는지 관찰합니다. 그들은 세 가지 구체적인 것을 측정합니다:

"충격 테스트" (표현 이동 크기):
- 비유: 수학 문제에서 핵심 정보 (예: 숫자 "5"를 지우고 빈칸으로 대체) 를 제거한다고 상상해 보세요.
- 정상 학생: 그 뇌는 문제 전체를 다시 계산합니다. 수학이 변했기 때문에 내부 "사고 패턴"이 크게 이동합니다.
- 부정행위자: 답을 외웠기 때문에, 숫자를 제거하는 것은 그들을 혼란스럽게 하거나 뇌가 비정상적인 큰 급상승으로 이동하게 만듭니다. 그들은 그 정보가 존재하는 것에 의존했기 때문에 누락된 부분에 대해 지나치게 민감합니다.
"군중 테스트" (방향성 붕괴):
- 비유: 10 명의 다른 사람에게 문제를 해결하도록 요청한다고 상상해 보세요. 그들의 뇌는 보통 사람들이 조금씩 다르게 생각하기 때문에 약간 다른 방향으로 움직입니다.
- 정상 학생: 그 뇌는 독특하고 다양한 방향으로 움직입니다.
- 부정행위자: 그 뇌는 단일하고 경직된 방향으로 붕괴됩니다. 마치 군중이 갑자기 모두 제자리에 맞춰 행진하는 것과 같습니다. 이 "붕괴"는 그들이 새로운 아이디어를 탐색하는 대신 외운 경로를 재생하기 때문에 발생합니다.
"개조 테스트" (표현 안정성):
- 비유: 학생에게 같은 질문을 하지만 완전히 다른 표현으로 다시 말해 보세요 (예: "사과가 몇 개야?" 대 "과일의 개수는 얼마야?").
- 정상 학생: 그 뇌는 안정적이고 일관되게 유지됩니다. 그들은 이것이 같은 문제임을 압니다.
- 부정행위자: 그 뇌는 경직되고 변하지 않습니다. 그들은 특정 외운 표현에 너무 고정되어 있어, 약간의 재표현만으로도 그들의 내부 상태가 정상적인 질문을 다룰 때보다 "뻣뻣하고" 비정상적으로 느껴집니다.

결과: 부정행위자 적발

연구자들은 강화 학습으로 훈련된 여러 AI 모델에서 이를 테스트했습니다.

구 방법: 기존의 "출력 수준" 탐지기 (신뢰도나 확률 확인) 는 종종 속았습니다. 그들은 똑똑한 학생과 암기하는 부정행위자 사이의 차이를 구별하지 못했습니다.
LaRA: 뇌의 내부 기하학적 구조를 "X-레이"로 살펴봄으로써, LaRA 는 성공적으로 외운 문제들을 찾아냈습니다. 오염된 샘플 (부정행위자) 은 뇌파에 뚜렷한 "흉터"가 있음을 발견했습니다: 그들은 누락된 정보에 너무 민감했고, 방향이 너무 경직되었으며, 재표현되었을 때 너무 뻣뻣했습니다.

이것이 중요한 이유

이 논문은 AI 가 고급 훈련 중에 "학습"하고 있는지 아니면 단순히 "암기"하고 있는지 진정으로 알기 위해서는 AI 가 무엇을 말하는지 듣는 것만으로는 부족하다고 주장합니다. 우리는 그가 어떻게 생각하는지를 살펴봐야 합니다. LaRA 는 AI 가 실제로 추론하고 있는지, 아니면 단순히 요약 노트를 외우고 있는지 확인하기 위해 AI 의 내부 뇌 구조를 감사할 수 있는 방법을 제공합니다.

간단히 말해: LaRA 는 최종 답안을 채점하는 대신, 질문을 찌르고, 만지고, 재표현했을 때 AI 모델의 뇌가 어떻게 반응하는지 관찰함으로써 시험에서 부정행위를 하는 AI 모델을 잡아내는 새로운 도구입니다.

기술 요약: LaRA – RL 사후 학습에서의 데이터 오염 감지를 위한 계층별 표현 분석

문제 제기

강화 학습 (RL) 사후 학습은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 데 상당한 유효성을 입증했습니다. 그러나 이 패러다임은 데이터 오염, 즉 평가 또는 벤치마크 샘플이 실수로 RL 학습 데이터에 포함되는 중대하고 미탐구된 취약점을 도입합니다. 이러한 오염은 보상 기반 과적합과 암묵적 암기를 유발하여 학습 과정의 일반화 능력과 평가 신뢰성을 훼손할 수 있습니다.

기존 탐지 방법은 주로 사전 학습 또는 지도 미세 조정 (SFT) 컨텍스트에서 유래된 출력 수준 신호(예: 토큰 가능성, 엔트로피, 또는 퍼플렉시티) 에 의존합니다. 이러한 방법들은 RL 학습 모델에 대해 점점 더 신뢰할 수 없게 되는데, 그 이유는 두 가지입니다:

보정 문제: LLM 출력 분포는 종종 보정이 잘 되어 있지 않아 가능성 기반 신호에 노이즈가 많습니다.
목적 불일치: 사전 학습이나 SFT 가 토큰 단위 가능성을 최적화하는 것과 달리, RL 은 전체 추론 궤적에 걸친 기대 보상을 최적화합니다. 결과적으로 토큰 수준의 행동 신호는 근본적인 학습 목적과 덜 직접적으로 정렬됩니다.

방법론: LaRA 프레임워크

저자들은 LaRA(계층별 표현 분석) 를 제안합니다. 이는 탐지 패러다임을 출력 수준 통계에서 표현 수준 기하학으로 전환하는 프레임워크입니다. 핵심 가설은 RL 로 인한 암기가 통제된 교란 하에서 모델의 내부 은닉 상태에 비정상적인 기하학적 반응을 생성한다는 것입니다.

1. 실험 설정

저자들은 세 가지 오픈 소스 RL 학습 모델 (EURUS-2-7B-PRIME, LIMR, Olmo-3.1-7B-RL-Zero-Math) 을 사용하여 통제된 오염 벤치마크를 구축했습니다.

멤버: 모델 자체의 RL 학습 세트에서 가져온 30 개의 올림피아드 수준 수학 문제.
논멤버: AIME 2026 에서 가져온 30 개의 문제 (보이지 않는 데이터).
학습: "멤버" 샘플을 포함하는 말뭉치에 대해 모델에 추가 RL 학습을 수행하여 오염 신호의 진화를 시뮬레이션하고 추적합니다.

2. 교란 전략

주어진 질문 $q_0$ 에 대해 프레임워크는 다음을 생성합니다:

의미적 이웃: 구조적으로 유사한 질문 집합 $Q = \{q_0, q_1, \dots, q_K\}$ .
교란된 변형: BLANKIMPORTANT 연산자를 사용하여 이러한 질문에서 핵심 정보를 제거하여 $q^-_i$ 를 생성합니다.
개사된 변형: 교란된 질문에 대해 빈 위치를 유지하면서 의미적으로 동등한 개사문을 생성하여 국소 불변성을 테스트합니다.

3. 세 가지 기하학적 지표

모든 트랜스포머 계층 ( $\ell \in \{0, \dots, L-1\}$ ) 에서 은닉 표현을 추출하여 세 가지 상호 보완적 지표를 계산합니다:

표현 이동 크기 (RSM): 정보 제거에 대한 표현의 민감도를 측정합니다. 원본과 교란된 표현 간의 이동 ( $\Delta_i = u_i - w_i$ ) 의 유클리드 노름을 계산합니다. 높은 RSM 은 암기된 샘플이 의미적 이웃에 비해 특정 정보 제거에 과도하게 민감함을 나타냅니다.
방향적 붕괴 (DC): 교란으로 인한 변화의 조직화를 특징짓습니다. 원본 샘플의 교란 방향과 의미적 이웃의 평균 교란 방향 간의 코사인 정렬을 측정합니다. 높은 DC 는 모델의 교란에 대한 반응이 공유된 저차원 방향으로 붕괴되어 표현 다양성이 감소했음을 나타냅니다.
표현 안정성 지수 (RSI): 개사 교란 하에서의 국소 강성을 정량화합니다. 동일한 교란된 질문의 개사 변형에 대한 표현의 분산을 측정합니다. 낮은 RSI(높은 안정성) 는 모델이 암기된 콘텐츠에 대해 경직되고 불변인 국소 표현을 형성했음을 시사합니다.

4. 탐지 프로토콜

이 프레임워크는 세 단계 프로세스를 통해 이러한 지표를 단일 탐지 점수 (SLaRA) 로 집계합니다:

강건한 표준화: 지표를 "클린" 참조 분포 (논멤버) 에 대해 중앙값 절대 편차 (MAD) 를 사용하여 압축 및 표준화하여 heavy-tailed 분포를 처리하고 이상치 인플레이션을 방지합니다.
지표별 정렬: 오염의 예상 방향에 따라 표준화된 점수를 정렬합니다 (예: 높은 안정성이 오염을 나타내는 경우 RSI 를 반전).
계층별 집계: 모든 계층과 지표에 걸쳐 정렬된 편차를 평균화하여 최종 이상 점수를 생성합니다.

주요 결과

여러 RL 학습 모델 및 학습 체크포인트에 걸친 실험은 LaRA 가 기존 출력 수준 기준 (Recall, CDD, Min-K%, Min-K%++, PPL, Self-Critique) 을 능가함을 보여줍니다.

성능 향상: LaRA 는 가장 강력한 이전 출력 수준 방법 대비 최대 +9.6% AUC 개선 및 5% 거짓 양성률 (FPR) 에서 3.5 배 높은 참 양성률 (TPR@FPR=5%) 을 달성합니다.
강건성: 결합된 점수 (SLaRA) 는 다양한 RL 학습 에포크 전반에 걸쳐 안정적이고 효과적으로 유지되는 반면, 퍼플렉시티 (PPL) 와 같은 출력 수준 지표는 엄격한 저-FPR 영역에서 높은 분산과 낮은 신뢰성을 보입니다.
기하학적 통찰: 오염된 샘플은 일관되게 다음을 나타냅니다:
- 증폭된 교란 민감성 (높은 RSM).
- 비정상적인 방향적 집중 (높은 DC).
- 향상된 국소 강성 (낮은 RSI/높은 안정성).
- 이러한 편차는 RL 학습이 진행됨에 따라 더 두드러지며, 특히 특정 계층 범위 (예: Eurus 의 경우 계층 7–9) 에서 두드러집니다.

중요성과 기여

본 논문은 다음과 같은 기여를 주장합니다:

RL 을 위한 최초의 표현 수준 프레임워크: 강성과 강성 지표를 활용하여 RL 사후 학습에서의 오염을 탐지하기 위해 계층별 표현 분석 프레임워크를 제안한 최초의 연구입니다.
우수한 탐지 프로토콜: 제안된 프로토콜은 다양한 RL 모델 전반에 걸쳐 출력 수준 기준을 일관되게 능가하여 RL 학습 추론 모델을 감사하기 위한 더 신뢰할 수 있는 신호를 제공합니다.
실증적 통찰: RL 학습이 표현 기하학에 고유한 방식으로 영향을 미쳐 계층 전반에 걸쳐 지속되고 학습 단계 변화에 강건한 암기의 탐지 가능한 "기하학적 서명"을 생성한다는 새로운 증거를 제공합니다.

저자들은 표현 수준 감사가 계산 오버헤드를 도입하지만, RL 도메인에서 출력 수준 신호의 한계를 극복하고 LLM 평가의 투명성과 신뢰성을 향상시키기 위해 필수적이라고 결론지었습니다.