🤖 machine learning

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

본 논문은 추출 가능한 구조적 정보의 척도인 에피플렉시티(epiplexity)를 자연 데이터 도메인을 선택하고 학습된 표현의 전이 가능성을 극대화하도록 합성 데이터 생성을 유도하는 적응형 신호로 운용함으로써, 분포 외 일반화(out-of-distribution generalization)를 개선하기 위한 프레임워크를 제안한다.

원저자: Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 과학자들은 로봇에게 가능한 한 많은 데이터를 제공하여, 로봇이 스스로 무언가를 깨닫기를 바라는 것이 최선의 방법이라고 생각했습니다. 하지만 이제 우리는 이러한 기계들에게 먹일 '실제' 데이터가 고갈되어 가고 있습니다. 로봇이 인터넷에 있는 거의 모든 것을 읽었음에도 불구하고, 새로운 종류의 퍼즐을 풀거나 낯선 농담을 이해하는 것과 같이 본 적 없는 일을 요구받았을 때 여전히 어려움을 겪는 벽에 부딪힌 것입니다. 이것이 바로 "분포 외(Out-of-Distribution)" 일반화의 문제입니다. 즉, 예상치 못한 새로운 상황에서도 작동하는 스마트한 시스템을 어떻게 만들 것인가의 문제입니다.

이를 해결하기 위해서는 로봇에게 무엇을 먹일 것인지에 대해 다시 생각해야 합니다. 단순히 양의 문제가 아니라, 정보의 '풍미'에 관한 문제입니다. 데이터를 음식이라고 생각해 봅시다. 만약 당신이 로봇에게 오직 흰 쌀밥(단순하고 반복적인 데이터)만 먹인다면, 배는 부르겠지만 새로운 것은 배우지 못할 것입니다. 만약 오직 순수한 소음(라디오의 잡음)만 먹인다면, 로봇은 혼란에 빠져 아무것도 배우지 못할 것입니다. 하지만 만약 당신이 로봇에게 층층이 쌓인 풍미를 지니고 있어 씹고 소화해야 하는 복잡하고 맛있는 스튜를 먹인다면, 로봇은 재료를 처리하는 법을 배우게 될 것입니다. 인공지능의 세계에서 이 '소화 가능한 복잡성'을 **에피플렉시티(epiplexity)**라고 부릅니다. 이는 컴퓨터가 데이터로부터 실제로 학습할 수 있는 유용하고 구조적인 정보의 양을 뜻하는 멋진 단어입니다. 연구자들이 던지는 핵심 질문은 이것입니다. "우리는 이 '소화 가능한 복잡성'이라는 아이디어를 사용하여 로봇에게 가장 좋은 데이터를 선택하거나, 심지어 로봇을 더 똑똑하게 만들기 위해 새로운 데이터를 발명할 수 있을까?"

"에피플렉시티를 활용한 분포 외 일반화를 위한 데이터 선택 및 생성(Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization)"이라는 제목의 이 논문은 그 답이 "그렇다"라고 말합니다. 뉴욕 대학교와 Inherent의 연구진인 저자들은 에피플렉시티에 집중함으로써 AI 모델을 훈련하는 새로운 방법을 제안합니다. 그들은 단순히 인터넷에서 무작위로 텍스트 덩어리를 가져오는 대신, 모델이 포기하지 않을 정도로 딱 적당히 도전 과제를 주는 데이터를 능동적으로 선택해야 한다고 주장합니다. 그들은 두 가지 주요 아이디어를 테스트했습니다. 첫째, 기존의 가장 좋은 데이터를 선택하는 방법, 둘째, 모델을 가르치기에 완벽하게 설계된 새로운 합성 데이터를 생성하는 방법입니다.

이들의 "에피플렉시티" 시스템이 어떻게 작동하는지 몇 가지 간단한 이야기를 통해 설명하겠습니다.

데이터 선택을 위한 "스트레스 테스트" (EpiSelect)

당신이 매우 어렵고 미지의 시험을 치러야 하는 학생을 위해 학습 가이드를 준비하는 선생님이라고 상상해 보세요. 당신에게는 도서관이 가득 차 있습니다. 어떤 책은 쉬운 그림책이고, 어떤 책은 지루한 숫자 목록이며, 어떤 책은 깊은 아이디어가 담긴 복잡한 소설입니다.

저자들은 만약 당신이 무작위로 책을 고른다면, 학생은 지루해하거나 압도당할 수 있다는 것을 발견했습니다. 하지만 만약 특정 페이지를 읽은 후 학생의 뇌가 정확히 얼마나 성장했는지 측정할 수 있다면 어떨까요? 그들은 이 성장을 "에피플렉시티"라고 불렀습니다. 반복적인 텍스트(예: "고양이가 앉았다 고양이가 앉았다")는 학생이 즉시 배우고 넘어가 버리기 때문에 에피플렉시티가 낮습니다. 무작위의 횡설수설은 학생이 아무것도 배울 수 없기 때문에 에피플렉시티가 낮습니다. 하지만 학생이 잠시 멈추고, 생각하고, 천천히 줄거리를 이해하게 만드는 복잡한 이야기는 에피플렉시티가 높습니다.

연구팀은 EpiSelect라는 도구를 만들었는데, 이는 마치 초지능적인 사서처럼 작동합니다. 학생(AI 모델)이 글을 읽는 동안, EpiSelect는 학생의 "손실(loss, 모델이 얼마나 혼란스러워하는지를 나타내는 척도)"이 얼마나 빨리 줄어드는지 관찰합니다. 만약 학생이 혼란스러워하면서도 천천히 이해해 나가고 있다면, 그것이 바로 최적의 지점입니다! 그러면 EpiSelect는 이렇게 말합니다. "이봐, 이런 종류의 책을 더 읽자!" 이 도구는 어떤 유형의 책이 다음에 가장 큰 뇌 성장을 줄지 예측하기 위해 수학적 "스케일링 법칙(과거를 바탕으로 미래를 예측하는 세련된 방식)"을 사용합니다.

이 방법으로 테스트했을 때, 그들은 놀라운 사실을 발견했습니다. "The Pile"이라는 유명한 데이터셋에서는, 단순히 가장 큰 데이터 덩어리(PileCC)를 반복해서 읽는 것이 다른 모든 정교한 방법들을 이겼습니다. 이는 "The Pile"이 좋은 테스트가 아니었음을 시사하는데, 한 종류의 데이터가 너무 지배적이어서 실험을 망쳤기 때문입니다. 그래서 그들은 30가지 유형의 텍스트가 더 균형 있게 섞인 "Common Pile"이라는 새로운 데이터셋으로 옮겨갔습니다. 이 새로운 테스트에서 EpiSelect는 빛을 발했습니다. 이 도구는 AI 모델이 10가지 까다로운 작업에서 현재의 최첨단 기술(state-of-the-art)을 포함한 그 어떤 방법보다 더 잘 수행할 수 있도록 하는 데이터의 조합을 골라냈습니다. 논문은 모델이 가장 많은 "에피플렉시티"를 만들어내는 데이터에 집중함으로써, 보지 못한 새로운 상황을 훨씬 더 잘 다룰 수 있는 패턴을 학습한다고 제안합니다.

새로운 레시피를 만드는 "로봇 셰프" (EpiGen)

이제 당신은 단순히 도서관에서 가장 좋은 책을 고르는 것을 넘어, 학생을 가르치기에 완벽하게 설계된 새로운 책을 직접 쓰고 싶다고 상상해 보세요. 이것이 논문의 두 번째 부분인 EpiGen이 등장하는 지점입니다.

저자들은 새로운 합성 텍스트를 요리하는 임무를 가진 "로봇 셰프"(생성 모델)를 만들었습니다. 그런데 셰프는 무엇을 요리할지 어떻게 알까요? 보통 셰프들은 단순히 맛있는 음식(낮은 오차)을 만들거나, 이전에 만들었던 것과 매우 다른 음식을 만들려고 노력합니다. 하지만 저자들은 학습을 위한 최고의 음식은 도전적이면서도 여전히 먹을 수 있는 음식이라는 점을 깨달았습니다.

그들은 로봇 셰프에게 특별한 보상 체계를 부여했습니다. 셰프가 새로운 텍스트를 요리할 때마다, 그 텍스트를 학생(학습 모델)에게 먹였습니다. 만약 학생이 조금 힘들어했지만 결국 새로운 것을 배우고 이해도를 높였다면, 셰프는 큰 보상을 받았습니다. 만약 텍xt가 너무 쉬웠거나(학생이 이미 알고 있는 것), 너무 어려웠다면(학생이 전혀 이해할 수 없는 것) 셰프는 보상을 받지 못했습니다.

REINFORCE(운동선수에게 피드back을 주는 코치와 같은 기법)라는 기술을 사용하여, 셰프는 "골디락스(Goldilocks)" 데이터를 요리하는 법을 배웠습니다. 너무 뜨겁지도, 너무 차갑지도 않은, 딱 적당한 데이터 말입니다. 결과는 흥미로웠습니다. 이 특별히 생성된 합성 데이터로 모델을 훈련했을 때, 모델은 원래의 데이터로 훈련된 모델보다 언어 이해 작업(GLUE 벤치마크 등)에서 더 뛰어난 성능을 보였습니다. 더욱 놀라운 점은, 이 새로운 합성 데이터를 실제 데이터와 섞었을 때 모델이 둘 중 하나만 사용했을 때보다 훨씬 더 높은 성능을 보였다는 것입니다.

이것이 미래에 의미하는 바

이 논문은 AI의 모든 문제를 해결했다고 주장하지 않습니다. 저자들은 자신들의 실험이 상대적으로 작은 모델을 대상으로 이루어졌으며, 자신들의 방법론이 완벽하고 이론적인 수치를 직접 측정하기보다는 에피플렉시티에 대한 "대리 지표(proxy, 훌륭한 추측치)"에 의존하고 있다는 점을 주의 깊게 명시했습니다. 또한 이 방법은 모델이 아무것도 모르는 상태에서 시작하기보다, 어느 정도 사전 지식(사전 훈련된 모델)을 가지고 있을 때 가장 잘 작동한다는 점도 발견했습니다.

하지만 핵심 아이디어는 관점의 강력한 전환을 보여줍니다. 데이터를 단순히 태워 없애야 할 거대한 연료 더미로 취급하는 대신, 저자들은 데이터를 하나의 '커리큘럼'으로 취급해야 한다고 제안합니다. 모델이 실제로 추출할 수 있는 구조적 정보의 양인 에피플렉시티를 측정하고 극대화함으로써, 우리는 단순히 규모만 큰 것이 아니라 진정으로 적응력이 뛰어난 AI를 구축할 수 있습니다. 기존의 가장 좋은 데이터를 선택하든, 새로운 합성 데이터를 발명하든, 목표는 같습니다. 모델에게 생각하고, 배우고, 우리가 아직 상상하지 못한 세상에서 성공할 수 있도록 만드는 '도전 과제'를 제공하는 것입니다.

기술 요약: OOD 일반화를 위한 에피플렉시티(Epiplexity) 기반 데이터 선택 및 생성

문제 정의

현대 머신러닝 시스템은 훈련 중에 지정되지 않은 태스크와 도메인으로 일반화(Out-of-Distribution 또는 OOD 일반화)해야 한다는 압박을 받고 있습니다. 멀티 에포크(multi-epoch) 훈련이 필수적인 데이터 제한적 레짐(data-limited regime)에 진입함에 따라, 어떤 데이터가 이러한 전이를 촉진하는지 식별하는 것이 매우 중요해졌습니다. 기존의 데이터 선택 및 커리큘럼 학습 방법론들은 종종 모호하게 정의된 양(quantity), 다양성(diversity), 품질(quality)의 개념에 의존합니다. 또한, 현재의 접근 방식들은 예상치 못한 다운스트림 환경을 위한 바람직한 데이터 속성을 추론하는 데 어려움을 겪고 있습니다.

계산 능력이 제한된 학습자가 데이터로부터 추출할 수 있는 구조적 정보의 척도인 **에피플렉시티(epiplexity)**를 실질적인 훈련 신호로 어떻게 구체화할 것인가에 대해서는 핵심적인 이론적 간극이 존재합니다. Finzi 등[20]은 에피플렉시티를 학습 가능하지만 사소하지 않은 데이터(지속적인 손실 감소)에 해당하는 값으로 제안했으나, 이 지표를 온라인으로 추정하거나, 적응형 데이터 선택에 사용하거나, 순수 합성 데이터 생성에 활용하는 방법은 여전히 불분분명합니다.

방법론

본 논문은 에피플렉시티를 구체화하기 위한 두 가지 별개의 프레임워크인 데이터 선택을 위한 EpiSelect와 합성 데이터 생성을 위한 EpiGen을 제래합니다. 두 방법 모두 훈련 손실 곡면의 면적(prequential coding)에서 유도된 다루기 쉬운 온라인 에피플렉시티 추정치에 기반합니다.

1. 에피플렉시티 추정 (Epiplexity Estimation)

저자들은 토큰이 훈련되는 순간의 손실과 동일한 토큰에 대해 최종 모델이 기록한 손실 사이의 누적 차이를 통해 에피플렉시티 $S(t)$ 를 근사하는 prequential 추정치를 활용합니다. 실제로 온라인 최적화에서는 현재 훈련 손실과 최종(또는 현재) 손실 하한값 사이의 차이로 근사됩니다.
$\hat{S}(t) \approx \sum_{s=1}^{t} (L(s) - L(t))$
에피플렉시티가 높은 데이터는 지속적이고 상당한 손실 감소를 나타내는 반면, 사소한 데이터(빠른 수렴)나 노이즈(수렴하지 않음)는 낮은 에피플렉시티를 보입니다.

2. EpiSelect: 적응형 데이터 선택

EpiSelect는 기대 에피플렉시티 이득을 최대화하도록 여러 데이터 도메인으로부터 배치(batch)를 적응적으로 샘플링하는 것을 목표로 합니다.

교차 도메인 스케일링 법칙 (Cross-Domain Scaling Laws): 이 방법은 도메인별 손실 곡선에 스케일링 법칙을 적합시켜, 모든 도메인의 토큰 수에 따른 미래 손실을 예측합니다. 제안된 형태는 다음과 같습니다:
$\hat{L}_m(n_1, \dots, n_K) = \epsilon_m + \beta_m \left( \sum_{k=1}^K \gamma_{m,k} n_k \right)^{-\alpha_m}$
여기서 $\gamma_{m,k}$ 는 도메인 $k$ 가 도메인 $m$ 의 손실에 미치는 영향력을 포착합니다.
그래디언트 기반 가중치 재설정 (Gradient-Based Reweighting): 알고리즘은 특정 도메인 $j$ 의 토큰에 대한 에피플렉시티의 한계 이득을 계산합니다:
$\frac{\partial \hat{S}}{\partial n_k} = \sum_{m=1}^K \frac{n_m \alpha_m \gamma_{m,k}}{\sum_{i=1}^K \gamma_{m,i} n_i} (\hat{L}_m - \epsilon_m)$
샘플링 전략: 다음 배치를 위한 샘플링 가중치 $\pi_k$ 는 이러한 한계 이득에 대한 소프트맥스(softmax)를 통해 결정되며, 이를 통해 모델은 가장 높은 구조적 정보 이득을 줄 것으로 예측되는 도메인을 탐욕적(greedy)으로 선택할 수 있습니다.

3. EpiGen: 합성 데이터 생성

EpiGen은 별도의 학습 모델( $P_{\theta}$ )의 에피플렉시티를 최대화하는 합성 데이터를 생성하도록 생성 모델( $P_{\theta_g}$ )을 훈련합니다.

보상 정의 (Reward Definition): 보상 $r_t$ 는 새로운 배치 $X_t$ 로 훈련한 후, 과거 데이터가 포함된 생성 버퍼 $B$ 에 대해 평가된 학습자의 에피플렉시티 변화량(손실 감소량으로 근사됨)으로 정의됩니다:
$r_t = \sum_{x \in B} (\log(1/P_{\theta_{t-1}}(x)) - \log(1/P_{\theta_t}(x)))$
최적화: 생성기는 기대 보상을 최대화하기 위해 REINFORCE 정책 그래디언트를 사용하여 최적화됩니다. 버퍼 $B$ 는 생성기가 학습자가 일반화 가능한 구조를 얻지 못한 채 단순히 암기해버리는 적대적 혹은 저엔트로피 출력으로 붕괴하는 것을 방지하기 위한 참조 분포 역할을 합니다.

주요 기여

에피플렉시티의 구체화: 본 논문은 데이터 선택 및 합성 데이터 생성을 위한 온라인 훈련 신호로서 에피플렉시티를 추정하고 최적화하는 최초의 실질적인 방법을 제공합니다.
EpiSelect 알고리즘: 교차 도메인 스케일링 법칙을 사용하여 에피플렉시티 이득을 예측하고 도메인 샘플링 가중치를 적응적으로 재설정하는 새로운 데이터 선택 방법입니다.
EpiGen 알고리즘: 생성기가 학습자에게 도전적인 과제를 부여하여 외부 검증기 없이도 구조적 정보 이득을 최대화하도록 REINFORCE를 통해 훈련되는 셀프 플레이(self-play) 프레임워크입니다.
벤치마크 비판 및 제안: 저자들은 데이터 선택 방법을 평가하는 데 있어 "The Pile" 데이터셋의 포화 문제를 지적하며, 가장 큰 도메인(PileCC)만으로 훈련하는 것이 정교한 선택 방법론보다 우수함을 언급했습니다. 이에 따라 향후 커리큘럼 학습 연구를 위한 더 엄격한 벤치마크로 Common Pile(30개 도메인, 8TB 데이터셋)을 제안합니다.
실증적 검증: 높은 에피플렉시티가 더 나은 OOD 일반화와 상관관계가 있음을 입증하였으며, 에피플렉시티 극대화 전략이 최첨단 베이스라인들을 능가함을 보여주었습니다.

결과

데이터 선택 (EpiSelect)

상관관계: "The Pile"에서 에피플렉시티는 다운스트림 제로샷 성능과 강한 상관관계(Pearson $r=0.88$ )를 보였으나, 가중치 노름(weight norms)은 그렇지 않았습니다.
벤치마크의 한계: The Pile에서 단독으로 PileCC 도메인을 훈련하는 것이 최첨단(ADO) 선택기를 능가했다는 점은 해당 데이터셋의 불균형을 부각시켰습니다.
Common Pile에서의 성능: Common Pile에서 평가했을 때, EpiSelect는 124M 및 1.3B 파라미터 모델 모두에서 10개 태스크(LM Evaluation Harness)에 대해 자연적(균등) 베이스라인 및 ADO를 모두 능가하는 가장 높은 평균 제로샷 정확도를 달과 달성했습니다.
교차 도메인 역학: 적합된 스케일링 법칙은 교차 도메인 효과가 희소하고 방향성을 띠며, 대각 항(자기 영향력)이 지배적임을 드러냈습니다.

합성 데이터 생성 (EpiGen)

미세 조정 성능: EpiGen 생성 합성 데이터로 훈련된 학습자는 GPT-2 프리트레인 베이스라인 대비 GLUE 미세 조정 태스크에서 평균 2.7포인트의 성능 향상을 보였습니다.
초기화 의존성: 이 방법은 사전 훈련된 초기화가 필요합니다. 무작위 초기화는 성능 향상을 보이지 않았으며, 이는 학습 신호가 사전 훈련된 가중치로부터 발생함을 시사합니다.
데이터 혼합: 25-50%의 에피플렉시티 가이드 합성 데이터와 실제 OpenWebText(OWT) 데이터를 혼합했을 때 최상의 다운스트림 성능을 보였으며, 이는 합성 데이터만으로 훈련했을 때보다 우수했습니다.
안정성: 이 방법은 인-도메인(in-distribution) 데이터에 대해 낮은 퍼플렉시티를 유지하면서도 OOD 일반화를 개선하여, 보상 기반 생성에서 흔히 발생하는 모드 붕괴(mode collapse)를 피했습니다.

의의 및 주장

본 논문은 에피플렉시티가 OOD 일반화를 직접 겨냥하는 원칙적이고 정보 이론적인 데이터 선택 및 생성의 토대를 제공한다고 주장합니다. "가장 단순한 설명"(오캄의 면도날)에서 "가장 압축 불가능한 데이터"(구조적 정보 극대화)로 초점을 전환함으로써, 모델이 예상치 못한 도메인 전반에 걸쳐 더 잘 전이될 수 있는 표현을 학습할 수 있다고 주장합니다.

저자들은 실험이 소규모 모델(124M–1.3B 파라미터)에서 수행되었으며, 이론적 양 자체보다는 다루기 쉬운 프록시(proxy)에 의존하고 있다는 점을 겸허히 언급했습니다. 향-후 연구는 확장성, 프록시에 대한 이론적 보장, 그리고 에피플렉시티를 넘어선 보편적 데이터 속성의 발견을 다루어야 한다고 덧붙였습니다. 그럼에도 불구하고, 본 연구는 에피플렉시티가 자연 및 합성 데이터 환경 모두에서 모델 일반화를 개선하기 위한 실행 가능하고 유효한 신호임을 확립했습니다.