Evaluating Latent Knowledge of Public Tabular Datasets in Large Language Models

1. 문제 정의 (Problem Definition)

• 데이터 오염 (Data Contamination): 대규모 언어 모델 (LLM) 의 성능 향상이 실제 일반화 능력 때문이 아니라, 평가에 사용된 테스트 데이터셋이 모델의 학습 데이터에 이미 포함되어 있었기 때문인 현상입니다.
• 현재의 한계: 기존 연구는 주로 텍스트 벤치마크에 집중하거나, 표형 데이터 (Tabular Data) 에서는 단순한 암기 (Memorization) 테스트 (예: 행의 원본 복사 여부) 에 의존합니다.
• 문제점:
  • 표형 데이터는 구조화되어 있어 원본 행을 그대로 암기하는 것보다 데이터의 통계적 패턴이나 관계적 구조를 학습하는 것이 더 흔할 수 있습니다.
  • 기존 암기 기반 테스트는 너무 거칠어 (coarse), 모델이 데이터셋을 '보았는지' 여부와 '일반화 능력'을 구분하지 못합니다.
  • 공개된 표형 데이터셋 (Kaggle 등) 은 모델 학습 코퍼스에 포함될 가능성이 매우 높으나, 이를 체계적으로 평가하는 프레임워크가 부재합니다.

2. 제안된 방법론 (Methodology)

저자들은 표형 데이터셋의 오염을 감지하기 위해 통제된 변환을 통한 비교 평가 프레임워크를 제안합니다.

A. 데이터셋 변형 (Dataset Variants)

원본 데이터셋을 기반으로 4 가지 변형 버전을 생성하여 모델의 지식 원천을 분리합니다.

1. Real (실제): 원본 데이터셋 그대로. 오염이 가장 직접적으로 나타나는 조건.
2. Like (유사): 각 열의 주변 분포 (marginal distribution) 는 유지하되, 행 간의 의존성 (row-wise dependence) 은 무작위 재샘플링으로 파괴. (열 수준의 규칙성만 학습했는지 확인)
3. Swapped (교환): 열 내의 값들을 서로 교환 (bijection). 범주형은 다른 값으로 매핑, 수치형은 반전 변환. 행 구조와 공발생 패턴은 유지하되, 의미론적 라벨을 제거.
4. Obfuscated (난독화): 피처 이름과 범주 값들을 익명 코드 (f1, c1 등) 로 대체. 표면적 의미 단서를 제거하여 세계 지식이나 데이터셋 이름에 대한 친숙도를 배제.

B. 평가 프로브 (Evaluation Probes)

각 변형 데이터셋에 대해 5 지선다형 질문을 생성합니다.

1. Completion Task (완성): 행의 일부 열을 마스킹 (?) 하고, 나머지 열을 바탕으로 숨겨진 값을 5 가지 옵션 중 고르게 함.
2. Existence Task (존재 확인): 5 개의 완전한 행 중 실제 데이터셋에 존재하는 행 하나를 고르게 함. (나머지는 유사하지만 가짜인 행)

C. 베이스라인 및 통계적 검증

• 비신경망 베이스라인 (Non-neural Baselines):
  • Random: 무작위 선택.
  • Deterministic: 열별 주변 분포 확률을 기반으로 가장 확률이 높은 옵션 선택.
  • Stochastic: 주변 분포 확률에 따라 확률적으로 샘플링.
• 통계적 검정: 모델의 성능이 무작위 베이스라인보다 유의미하게 높은지 확인하기 위해 McNemar 검정을 사용합니다.
  • 오염 판정 기준: Real 변형에서 무작위 베이스라인 대비 통계적으로 유의미하게 높은 성능을 보일 때 오염으로 간주합니다.
  • 해석: Real 에서 높고 Like 에서 낮으면 행 수준의 구조를 학습했음을 의미하며, Swapped 나 Obfuscated 에서 성능이 유지되면 단순한 의미론적 암기가 아님을 시사합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 표형 데이터 오염 평가 프레임워크: 공개된 표형 데이터셋에 대한 LLM 의 사전 지식을 평가하기 위한 다중 선택형 벤치마크를 도입했습니다.
2. 원리 기반의 검출 기준: 단순 암기 테스트가 아닌, 비신경망 베이스라인과 통계적 검정을 결합하여 오염을 엄격하게 판별하는 기준을 제시했습니다.
3. 기존 방법론의 한계 극복: 기존 암기 기반 프레임워크가 놓친 미세한 오염 신호를 포착하여, 더 정교하고 정보력 있는 오염 프로파일을 제공합니다.

4. 실험 결과 (Results)

• 실험 설정: 7 개의 LLM (Mistral, Qwen, Llama 등, 7B~70B 규모) 과 8 개의 공개 표형 데이터셋 (Adult, Titanic, Iris, Credit 등) 을 사용.
• 기존 방법론 비교: Bordt et al. (2024) 의 암기 기반 테스트는 Adult, Titanic 등 주요 데이터셋에서 거의 0% 의 정확도를 보여 오염을 탐지하지 못했습니다. 반면, 제안된 프레임워크는 명확한 오염 신호를 포착했습니다.
• 오염 발견:
  • Titanic, Adult, Credit, Iris 데이터셋에서 4 개 모델 이상에서 통계적으로 유의미한 오염이 확인되었습니다.
  • 특히 Titanic 데이터셋에서는 모든 모델이 Real 변형에서 무작위 베이스라인을 크게 상회하는 성능을 보였습니다.
  • Mushroom 데이터셋과 Synthetic 데이터셋에서는 오염이 탐지되지 않아, 프레임워크가 모든 공개 데이터를 오염된 것으로 잘못 판단하지 않음을 입증했습니다.
• 모델 규모 효과: 모델의 파라미터 수가 커질수록 (7B → 70B) 오염 신호가 더 강하게 나타났습니다. 이는 대형 모델이 사전 노출된 데이터셋을 더 잘 활용 (악용) 할 수 있음을 시사합니다.
• 작업 민감도: Completion 작업이 Existence 작업보다 오염 탐지에 더 민감한 지표로 작용했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가의 신뢰성 위기: 현재 LLM 벤치마크 점수는 데이터 오염으로 인해 실제 일반화 능력을 과대평가할 가능성이 매우 높습니다. 특히 대형 모델 간의 성능 차이는 실제 학습 능력 향상보다는 오염 데이터 활용 능력 차이일 수 있습니다.
• 표준화된 평가 필요: 표형 데이터 평가 시 오염 검사는 필수적인 절차가 되어야 하며, 오염된 데이터셋을 사용할 경우 그 사실을 투명하게 보고하고 결과를 해석해야 합니다.
• 향후 방향: 오염의 존재 여부뿐만 아니라, 모델이 데이터셋의 어떤 부분 (특정 속성, 관계 등) 을 학습했는지를 더 세밀하게 분석하는 연구가 필요합니다.

이 논문은 LLM 평가의 엄격성을 높이고, 데이터 오염이 벤치마크 결과에 미치는 왜곡 효과를 정량화하는 중요한 이정표가 됩니다.