🤖 machine learning

Probing Memorization of Tabular In-Context Learning

이 논문은 ICLMEM을 소개하며, 이는 대규모 테이블 모델(Large Tabular Models)이 특정의 비현실적인 훈련 조건(예: 고정된 샘플을 사용한 단일 작업 미세 조정) 하에서는 중간 정도의 파라미터 암기 현상을 보이지만, 현실적인 시나리오에서는 이러한 신호가 대부분 사라진다는 것을 밝히는 프로빙 프레임워크이다.

원저자: Francesco Capano, Jonas Böhler

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Francesco Capano, Jonas Böhler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "똑똑한 계산기" vs "학생"

당신에게 특정 유형의 문제를 푸는 데 설계된 아주 똑똑한 계산기가 있다고 상상해 보세요. 보통, 당신은 이 계산기에 문제를 푸는 방법이 담긴 몇 가지 예시(예: "2+2=4, 3+3=6")를 제공한 다음, 새로운 문제("4+4=?")를 풀라고 요청합니다. 계산기는 당신의 예시를 보고 패턴을 파악합니다. 이것을 **인컨텍스트 러닝(In-Context Learning, ICL)**이라고 부릅니다. 이는 마치 눈앞에 놓인 '치트 시트(요약 노트)'를 보고 학습하는 학생과 같습니다.

이제, 누군가가 이 계산기를 가져가서 더 강력하게 만들기 위해 방대한 양의 비밀스러운 실제 데이터(예: 환자 기록이나 금융 거래 내역)로 훈련시킨다고 상상해 보세요. 이 논문이 던지는 핵심 질문은 이것입니다: 계산기가 단순히 '패턴'을 배운 것일까요, 아니면 그 비밀 목록에 있는 '특정 정답'을 몰래 암기해 버린 것일까요?

만약 계산기가 특정 정답을 암기했다면, 그것은 위험합니다. 만약 당신이 특정 인물의 의료 기록에 대해 물었을 때, 계산기가 논리적으로 답을 찾아낸 것이 아니라 훈련 목록에서 "기억해 낸" 특정 개인의 사적인 데이터를 내뱉을 수도 있기 때문입니다.

문제점: "부정행위"를 어떻게 잡아낼 것인가?

텍스트 기반 AI(우리가 아는 챗봇 등)의 세계에서는 연구자들이 AI가 암기된 텍스트를 그대로 읊고 있는지 확인할 수 있는 방법들이 있습니다. 하지만 이러한 "표 형식(Tabular)" 계산기(문장이 아닌 숫자와 표를 다루는 모델)의 경우에는 그것이 훨씬 더 어렵습니다.

기존 방식: 보통 AI에게 질문을 던지고 정답을 맞히는지 확인합니다. 하지만 정답을 맞혔다고 해서, 그것이 AI가 똑똑해서인지 아니면 정답을 암기했기 때문인지 알 수 없습니다.
이 논문의 아이디어: 저자들은 ICLMEM이라는 새로운 테스트를 만들었습니다. 이것은 일종의 "함정 문제" 시험이라고 생각하면 됩니다.

테스트 작동 방식: "빈 페이지" 트릭

연구자들은 계산기가 자신의 "치트 시트"(컨텍스트)를 사용하지 못하게 하고, 오직 자신의 뇌(내부 메모리)에만 의존하도록 강제하고 싶어 했습니다.

설정: 계산기가 훈련 과정에서 보았을 법한 특정 데이터 행(쿼리)을 가져옵니다.
트릭: 계산기에게 보여줄 "컨텍스트"(예시들)를 완전히 쓸모없게 만듭니다. 이는 마치 학생에게 예시들이 모두 엉망진창인 난센스 문장으로 구성된 시험지를 주는 것과 같습니다.
결과:
- 만약 계산기가 똑똑하다면, 예시들이 도움이 되지 않기 때문에 혼란을 느껴 무작위로 추측할 것입니다.
- 만 만약 계산기가 암기했다면, 엉망인 예시들을 무시하고 훈련 중에 "기억해 낸" 정답을 자신 있게 제시할 것입니다.

만약 계산기가 엉망인 예시들에도 불구하고 정답을 맞힌다면, 연구자들은 다음과 같은 사실을 알 수 있습니다: 이 모델은 해당 특정 데이터 포인트를 암기했다.

발견한 내용: "퍼펙트 스톰(최악의 조건)" 상황

연구자들은 이 테스트를 선도적인 AI 모델에 대해 10가지 서로 다른 실제 작업(예: 집값 예측 또는 영화 평점 예측)으로 테스트했습니다. 여기서 발견한 내용은 다음과 같습니다.

1. 특정 조건 하에서만 발생함
계산기는 암기 징후를 보였지만, 훈련 조건이 "이상하고" 비현실적일 때만 그러했습니다.

"작은 배치(Small Batch)" 효과: 모델을 매우 작은 데이터 그룹(예: 한 번에 50개 행씩)으로 훈련시키고, 똑같은 행들을 계속해서 반복해서 보여주면 모델은 암기를 시작했습니다.
"단순한 작업" 효과: 작업이 단순하거나(예: 예/아니오 질문) 가능한 답변의 수가 적을 때 암기가 가장 강력하게 나타났습니다.
"긴 훈련 시간" 효과: 동일한 특정 데이터에 대해 모델을 매우 오랫동안 훈련시키면 암기가 더 강해졌습니다.

2. "현실 세계"는 안전함
여기에는 좋은 소식이 있습니다. 연구자들이 모델이 실제로 현실에서 훈련되는 방식(방대한 데이터 배치, 다양한 작업 혼합, 짧은 훈련 시간)을 시뮬레이션했을 때, 암기 신호는 거의 완전히 사라졌습니다.

이는 마치 학생에게 똑같은 5페이지를 10시간 동안 계속 읽으라고 강요하면 그 페이지를 통째로 외워버리지만, 10,000권의 책이 있는 도서관에서 아주 다양한 것을 10분 동안만 읽게 한다면 특정 페이지를 외우는 대신 일반적인 개념을 배우게 되는 것과 같습니다.

3. 수치적 결과
"이상한" 실험실 설정에서는 10개 작업 중 8개에서 암기가 발견되었습니다. 그러나 "현실적인" 설정에서는 암기를 감지하는 능력이 크게 떨어졌습니다. 모델은 암기하는 동작을 멈추고 일반적인 학습자처럼 행동하기 시작했습니다.

결론: 패닉에 빠질 필요는 없지만, 주의는 필요하다

이 논문은 강력한 표 해결 AI 모델들이 민감한 데이터를 암기할 수 있지만, 대개 매우 특수하고 부자연스러운 방식으로 훈련될 때만 그렇다는 결론을 내립니다.

데이터 보호를 위해 무엇을 의미할까요?

"퍼펙트 스톰"을 피하라: 아주 작은 고정된 데이터셋을 너무 오랫동안 사용하여 모델을 훈련시키지 마세요.
더 큰 배치를 사용하라: 더 큰 덩어리의 데이터로 훈련하는 것은 모델이 행을 암기하는 대신 패턴을 배우도록 돕습니다.
다양하게 섞어라: 여러 종류의 작업을 동시에 훈련시키는 것은 모델이 하나의 특정 데이터셋에 집착하는 것을 방지합니다.

저자들은 이러한 훈련 규칙을 따른다면, 특정 데이터를 암기하여 비밀을 유출할 걱정 없이 이 강력한 AI 도구들을 사용할 수 있다고 제안합니다. 또한, 추가적인 안전을 위해 차분 프라이버시(Differential Privacy)(개별 기록을 식별할 수 없도록 데이터에 수학적으로 "노이즈"를 추가하는 방법)와 같은 기술을 사용하는 것도 여전히 좋은 도구라고 언급합니다.

요약하자면: 계산기는 기억력을 가지고 있지만, 대부분은 '일반 지식'에 대한 기억입니다. 만약 특정 비밀을 반복적이고 고립된 방식으로 공부하도록 강요한다면, 그때서야 비로소 특정 비밀에 대한 '사진 같은 기억력'을 갖게 됩니다.

기술 요약: 표 형식 인컨텍스트 러닝의 암기 현상 탐색 (Probing Memorization of Tabular In-Context Learning)

1. 문제 정의

인컨텍스트 러닝(ICL)을 활용하여 표 형식 작업에서 최첨단 성능을 달나오는 대규모 표 모델(LTM)은 실제 데이터 코퍼스에 대해 점점 더 많이 미세 조정(fine-tuning)되고 있습니다. 대규모 언어 모델(LLM)이 훈련 데이터를 의도치 않게 암기하는 것으로 알려진 반면, LTM의 암기 역학은 여로써 거의 탐구되지 않았습니다. LTM을 평가하는 데 있어 핵심적인 과제는 LLM과의 구조적 차이입니다. LTM은 일반적으로 컨텍스트 내에 제공된 사전 정의된 후보 레이블 집합에 대해 확률을 출력하도록 제한된 인코더 전용(encoder-only) 아키텍처이며, 임의의 텍스트를 생성하지 않습니다. 또한, LTM은 명시적인 타겟을 암기하기보다는 컨텍스트 내의 구조적 연결을 추론하도록 훈련된 사전 데이터 적합 네트워크(PFN)로서 작동합니다. 이는 근본적인 질문을 제기합니다: ICL을 수행하도록 본질적으로 훈련된 LTM이 민감한 미세 조정 데이터를 보유할 수 있는 암기 프로필을 가지고 있는가?

2. 방법론: ICLMEM

이를 조사하기 위해 저자들은 컨텍스트 기반 예측과 파라미터 암기를 분리하도록 설계된 탐색 프레임워크인 ICLMEM을 소개합니다. 이 프레임워크는 두 단계로 작동합니다.

1단계: 암기 그라운드 트루스(Ground Truth) 설정

데이터 전처리: 허위 양성(false positive)을 방 피하기 위해 저자들은 엄격한 데이터 위생을 구현합니다. 여기에는 멤버 세트와 비멤버 세트 간의 특징 오염(동일한 레코드가 양쪽에 존재함)을 방지하기 위한 중복 제거와, 멤버 및 비멤버 분할이 동일한 분포를 갖도록 보장하기 위한 통계적 검증(분류를 위한 Total Variation Distance, 회귀를 위한 Kolmogorov–KS 검증)이 포함됩니다.
레이블 무작위화: 모델이 학습 없이 다수 클래스를 예측하는 기저율 오류(base-rate fallacy)를 완화하기 위해, 주변 분포는 유지하면서 타겟 레이블을 뒤섞어 모델이 통계적으로 불가능한 매핑을 학습해야만 성공할 수 있도록 강제합니다.
제어된 미세 조정: LTM은 고정된 컨텍스트-쿼리 쌍에 대해 최대 500 에포크(epoch)까지 미세 조정됩니다. 저자들은 암기에 미치는 영향을 테스트하기 위해 학습률( $\eta$ )과 쿼리 크기( $Q$ )를 변화시키며, 작은 $Q$ 가 개별 행의 기여도를 증폭시킨다는 가설을 세웁니다.

2단계: 암기 탐색

제로 정보 다중 선택 프로토콜: 모델이 인컨텍스트 추론을 포기하고 파라미터 메모리에 의존하도록 강제하기 위해, 저자들은 "제로 정보" 컨텍스트를 구축합니다. 쿼리 $q$ 와 후보 레이블 $Y$ 에 대해, 컨텍스트는 쿼리의 특징들을 $|Y|$ 번 복사하고 각 복사본에 서로 다른 후보 레이블을 쌍으로 결합하여 포함합니다. 이는 유효한 컨텍스트 패턴을 제거하여 모델이 가중치에 기반해 추측하게 만듭니다.
컨텍스트 조작: 제로 정보 컨텍스트는 위치 셔플링, 방해 요소 주입, 분포 왜곡을 포함한 48가지의 조작 세트( $\Pi$ )에 노출되어 예측 견고성을 테스트합니다.
난이도 보정: 쉬운 샘플(사전 훈련된 베이스 모델이 구조적 사전 지식으로 해결할 수 있는 샘플)과 진정한 암기를 구분하기 위해, 저자들은 델타 점수 $\Delta S(q) = S(q) - S_{ref}(q)$ 를 계산합니다. 여기서 $S$ 는 견고성 점수(조작 전반의 평균 손실)이고 $S_{ref}$ 는 사전 훈련된 베이스 모델의 점수입니다.
지표: $\Delta S$ 점수의 AUC가 0.5를 초과하면 암기가 감지된 것으로 간주합니다. 또한 국소적이고 확신 있는 신호를 포착하기 위해 낮은 허위 양성률(1% 및 10% FPR)에서의 참 양성률(TPR)을 보고합니다.

3. 주요 기여

최초의 체계적 평가: 본 논문은 LTM의 암기에 대한 최초의 체계적인 평가를 제공합니다.
ICLMEM 프레임워크: 제로 정보 다중 선택 컨텍스트를 사용하여 파라미터 메모리를 인컨텍스트 추론으로부터 격리하는 새로운 탐색 프레임워크를 제시합니다.
MIA의 함정 완화: 본 방법론은 분포 변화, 특징 오염, 기저율 혼란, 그리고 내재적 저복잡도 샘플을 포함한 일반적인 멤버십 추론 공격(MIA)의 함정을 명시적으로 해결합니다.
광범위한 실증적 평가: 프레임워크는 CARTE 벤치마크의 10가지 다양한 분류 및 회귀 작업에 대해 1,128개의 미세 조정 구성에서 ConTextTab 모델을 통해 평가되었습니다.

4. 결과

평가는 다섯 가지 뚜렷한 결과(표현 붕괴, 손실 역전, 감지 가능한 암기, 컨텍스트 과적합, 신호 없음)를 도출했습니다.

암기 감지: 제어된 설정(단일 작업 미세 조정, 고정된 컨텍스트-쿼리 쌍)에서, 10개 작업 중 8개에서 중간 정도의 암기 신호가 감지되었습니다. 가장 강력한 신호는 낮은 카디널리티와 이진(binary) 작업, 그리고 작은 쿼리 크기( $Q=50$ $Q = 50$ )에서 나타났습니다.
- 정점 성능은 특정 구성에서 AUC 0.67 및 1% FPR에서의 TPR > 0.1에 도달했습니다.
- 예를 들어, "buy buy baby" 데이터셋에서 모델은 TPR@1% 0.12를 달성했습니다.
암기의 동인: 암기는 쿼리 크기( $Q$ $Q$ ), 타겟 카디널리티( $k$ $k$ ), 데이터 크기( $n$ $n$ ) 사이의 상호작용에 따라 달라집니다.
- 쿼리 크기: $Q$ 를 50에서 512로 증가시키면 감지 가능한 암기율이 크게 감소(6.7배 감소)하는데, 이는 더 큰 쿼리가 배치 분산을 안정화하고 더 강력한 제로샷 귀납 편향을 강제하기 때문입니다.
- 작업 유형: 이진 작업( $k=2$ )은 집중된 그래디언트 신호로 인해 가장 높은 취약성(최대 55%의 감지 가능한 실행)을 보였습니다. 높은 카디널리티의 작업은 암기를 유발하기 위해 높은 쿼리 커버리지와 구조적으로 유추할 수 없는 타겟을 필요로 했습니다.
현실적인 조건: 현실적인 훈련 조건(다중 작업 훈련, 무작위 컨텍스트-쿼리 샘플링, 2~5 에포크의 짧은 훈련 예산) 하에서는 암기 신호가 대부분 사라졌습니다. $Q=512$ 에서 무작위 샘플링을 사용하는 공동 다중 작업 훈련에서는 감지 가능한 작업이 5개에서 1개로 줄었으며, 남은 신호는 일반적인 실무 예산을 넘어서는 10 에포크 시점에 나타났습니다.

5. 의의 및 주장

본 논문은 LTM이 데이터를 암기할 능력을 갖추고 있지만, 이 능력은 매우 조건적이라고 결론짓습니다. 암기 신호는 특정하고 종종 인위적인 상황(많은 에포크 동안 고정된 샘플을 사용하는 단일 작업 미세 조정 및 작은 쿼리 크기)에서 가장 강력합니다.

저자들은 자신들의 연구 결과가 민감한 데이터를 보호하기 위한 적절한 조치를 결정하는 데 도움이 된다고 주장합니다. 이들은 특정 훈련 방식(예: 많은 에포크 동안 고정된 쌍을 사용하는 작은 쿼리 크기)을 피하거나 데이터 필터링을 사용하는 것이 위험을 완화할 수 있다고 제안합니다. 나아가, 차분 프라이버시(예: DP-SGD)가 엄격한 보장을 제공할 수 있음을 강조하지만, 이는 유틸리티와의 세심한 트레이드오프를 필요로 합니다. 이 연구는 표 형식의 파운데이션 모델, 특히 실제 세계의 데이터를 통합하는 모델에 대한 개인정보 보호 평가의 지속적인 경계가 필요함을 강조합니다.