In-Context Density Estimation for Tabular Data

새로운 도시를 이해하려고 노력한다고 상상해 보십시오. 옛날에는 사람들이 보통 어디에 모이는지, 어디가 조용한 공원인지, 혹은 위험한 골목길이 어디에 숨어 있는지 알고 싶다면, 각 동네마다 서로 다른 지도 제작 팀을 고용해야 했습니다. 각 팀은 단 한 블록만을 연구하기 위해 몇 주를 보내며 자신들만의 지도를 그린 뒤, 다음 장소로 짐을 싸서 이동해야 했습니다. 그것은 느리고 비용이 많이 들었으며, 매 작업마다 서로 다른 도구가 필요했습니다.

컴퓨터 과학, 특히 머신러닝이라고 불리는 분야에서 우리가 표 형식의 데이터(행과 열이 있는 스프레드시트 형태의 데이터)를 다루던 방식이 바로 이와 같았습니다. 목표는 밀도 추정(density estimation), 즉 "확률 질량(probability mass)"이 어디에 놓여 있는지 파악하는 것입니다. 이것을 데이터가 얼마나 붐비는지 보여주는 지도라고 생각하십시오. 데이터가 밀집된 곳을 알면 이상치(anomaly)를 찾아낼 수 있고, 어울리지 않는 것(분포 외 탐지, out-of-distribution detection)을 발견할 수 있으며, 심지어 다른 컴퓨터를 훈련시키기 위한 새롭고 현실적인 가짜 데이터를 만들어낼 수도 있습니다(데이터 증강). 수년 동안 규칙은 "하나의 데이터셋에는 하나의 맞춤형 훈련 모델"이었습니다. 하지만 만약 특정 지도를 암기하는 것이 아니라, '매핑'이라는 기술 자체를 배우는 하나의 초지능적인 가이드가 있다면 어떨까요?

여기서 새로운 논문은 ICED(In-Context Energy-based Density estimator)를 소개합니다. 폴란드 야기엘론스키 대학교의 연구진은 단 하나의 얼어붙은(frozen) AI 모델을 구축하여, 마치 만능 도시 가이드처럼 작동하게 만들었습니다. 새로운 스프레드시트가 나올 때마다 모델을 새로 훈련시키는 대신, ICED는 당신이 제공하는 데이터를 "컨텍스트(context)"로 읽어 들여 특정 지점이 얼마나 "밀도가 높은지" 혹은 "붐비는지"를 즉각적으로 알려줍니다. 이는 새로운 데이터를 위해 무엇인가를 학습하거나, 튜닝하거나, 조정할 필요 없이 이루어집니다. 이는 수백만 개의 서로 다른 도시를 공부한 경험이 있는 가이드가 완전히 새로운 도시에 들어서자마자, 거리들을 훑어보고 곧바로 번화한 광장과 텅 빈 수상한 구석진 곳을 가리키는 것과 같습니다.

문제점: "모두에게 맞지 않는" 접근 방식

오랫동안, 건더기 속에서 바늘을 찾거나(이상치 탐지) 새로운 건더기를 만들어내려면(데이터 증강), 그 특정 건더기의 모양에 맞는 맞춤형 기계를 만들어야 했습니다. 데이터를 입력하고, 조절 나사(하이퍼파라미터)를 미세하게 조정하며, 그것이 특정 더미의 모양을 학습하기를 바라야 했습니다. 만약 다른 모양의 건더기가 나타나면, 처음부터 다시 시작해야 했습니다.

이 논문은 이러한 방식이 비효율적이라고 주장합니다. 언어 처리와 같은 다른 분야는 이미 "파운데이션 모델(foundation models)"—일반적인 규칙을 학습하여 새로운 작업에 즉시 적용할 수 있는 거대한 AI 두뇌—로 이동한 반면, 표 형식 데이터의 밀도 추정은 여전히 과거의 방식에 머물러 있었습니다. 기존의 "표를 위한 파운데이션 모델"들조차도 대개 이메일이 스팸인지 분류하거나 집값을 예측하는 것과 같은 하나의 특정 문제만을 해결합니다. 그들은 데이터가 실제로 "어디에 존재하는지"에 대한 근본적인 지도를 제공하지 않습니다.

해결책: 만능 지도 제작자

저자들은 트랜스포머(Transformer)(현대적인 AI 챗봇의 기반이 되는 구조)를 기반으로 한 ICED를 만들었습니다. 작동 방식은 다음과 같은 유쾌한 비유를 들어 설명할 수 있습니다.

당신이 탐정을 훈련시킨다고 상상해 보십시오. 탐정에게 단 하나의 범죄 현장을 보여주고 문제를 풀라고 하는 대신, 수백만 개의 서로 다른 범죄 현장을 보여주되, 모든 현장의 가장자리에 정답이 적혀 있게 합니다. 당신은 그들에게 패턴을 인식하도록 가르칩니다. "아, 창문이 깨져 있고 바닥이 젖어 있다면, 용의자는 아마 이곳에 있겠구나."

ICED는 **합성 사전 확률(synthetic prior)**을 통해 훈련되었습니다. 이는 연구진이 단순히 실제 세계의 데이터만 입력한 것이 아니라, 거대하고 인공적인 데이터 우주를 구축했음을 의미합니다. 그들은 온갖 기이한 형태를 가진 수백만 개의 가짜 데이터셋을 만들었습니다. 어떤 것은 매끄럽고 둥근 형태(가우시안)였고, 어떤 것은 꼬리가 길고 무거운 형태(heavy-tailed)였으며, 어떤 것은 복잡한 곡선으로 뒤틀린 형태(flows)였고, 또 어떤 것은 숫자와 범주형 정보가 혼합된 형태였습니다. 결정적으로, 이 데이터를 직접 만들었기 때문에 그들은 모든 지점에 대한 정확한 "실제 밀도(true density)"를 알고 있었습니다.

모델은 데이터셋(컨텍스트)과 특정 지점(쿼리)을 보고 **에너지(energy)**를 예측하는 법을 배웠습니다. 이 논문에서 "에너지"란 "정규화되지 않은 밀도(unnormalized density)"를 뜻하는 멋진 표현입니다. 이것을 높이 지도라고 생각하십시오. 높은 에너지는 붐비고 안전하며 전형적인 지역을 의미하고, 낮은 에너지는 외롭고 수상하거나 텅 빈 지역을 의미합니다. 모델은 도시의 전체 면적을 정확하게 계산할 필요가 없습니다(수학적으로 완벽하게 하는 것은 불가능합니다). 단지 어떤 지점이 다른 지점보다 높은지만 알면 됩니다.

ICED가 할 수 있는 일 (힘들이지 않고도)

ICled이 훈련되면, 모델은 얼어붙습니다(frozen). 결코 변하지 않습니다. 그런 다음 당신은 이 단 하나의 변하지 않는 모델을 사용하여 네 가지 매우 다른 작업을 동시에, 재훈련 없이 수행할 수 있습니다.

1. 밀도 추정(Density Estimation): 특정 데이터 포인트가 얼마나 전형적인지를 알려줍니다.
2. 이상치 탐지(Anomaly Detection): 이상한 것들을 찾아냅니다. 만약 어떤 지점의 에너지가 매우 낮다면(군중에서 멀리 떨어진 "골짜기"에 있다면), ICED는 이를 이상치로 표시합니다.
3. 분포 외 탐지(Out-of-Distribution Detection): 새로운 데이터가 원래 그룹에 전혀 속하지 않는 것인지 알려줍니다.
4. 데이터 증강(Data Augmentation): 실제처럼 보이는 새로운 가짜 데이터 포인트를 생성할 수 있습니다. 이는 "에너지 경사(energy gradient)"를 따라가는 방식(마치 등산객이 가장 붐비는 지역을 향해 언덕을 올라가는 것과 같은 방식)으로 새로운 샘플을 만들어냅니다.

결과: 빠르고, 정확하며, 보편적입니다

연구진은 ICED를 고전적인 통계 기법부터 현대적인 딥러닝 모델에 이르는 방대한 목록과 비교 테스트했습니다.

• 속도: ICED는 새로운 데이터에 대해 훈련할 필요가 없기 때문에 믿을 수 없을 정도로 빠릅니다. 논문은 ICED가 단 한 번의 순방향 패스(forward pass)로 모든 것을 수행하기 때문에 일부 고급 모델(예: TabPFN)보다 약 50배 더 빠르다고 언급합니다. 이는 도시를 그리기 위해 몇 주를 보내는 대신 사진 한 장을 찍는 것과 같습니다.
• 정확도: 정답(ground truth)을 알고 있는 합성 테스트에서, ICED는 일관되게 가장 우수하거나 두 번째로 우수한 성능을 보이며 지점들의 순위를 올바르게 매겼습니다. 단순히 추측한 것이 아니라 데이터의 형태를 이해한 것입니다.
• 강건성(Robustness): 이것이 가장 인상적인 부분입니다. 컨텍스트 데이터가 노이즈로 오염되었을 때(즉, 훈련 데이터 자체에 잘못된 지점들이 섞여 있을 때), 다른 많은 모델은 무너졌습니다. 그들의 성능은 크게 떨어졌습니다. 그러나 ICED는 상위 3위 안에 머물렀습니다. ICED는 훈련 과정에서 지저-한 데이터, 무거운 꼬리, 노이즈가 섞인 데이터를 다루도록 설계되었기에, 실제 세상이 엉망이 되어도 당황하지 않았습니다.
• 데이터 생성: 다른 분류기를 훈련시키기 위해 가짜 데이터를 생성할 때, ICED는 전문화된 도구들(예: TabEBM)만큼이나 잘 수행했으며, 종종 그들을 능가하기도 했습니다.

한계 (그리고 미래)

이 논문은 자신들의 한계에 대해서도 솔직합니다. ICED는 "상대적인" 지도를 제공합니다. 지점 A가 지점 B보다 더 붐빈다는 것은 말할 수 있지만, 추가적인 단계 없이는 완벽한 정규화된 확률 수치(예: "이 일이 일어날 확률은 45.2%이다")를 제공하지는 못합니다. 또한, 데이터 전체를 한꺼번에 보기 때문에 데이터셋이 매우 방대할 경우 다소 느려질 수 있으나, 저자들은 이를 관리할 수 있다고 제안합니다.

저자들은 ICED가 세상의 모든 문제를 해결했다고 주장하지 않습니다. 그들은 ICED가 밀도 추정을 **재사용 가능한 기본 요소(reusable primitive)**로 취급하는 강력한 단계라고 제안합니다. 우리가 더 이상 자동차마다 새로운 엔진을 만들지 않듯이, 우리도 곧 모든 스프레드시트마다 새로운 밀도 모델을 만드는 일을 멈추게 될지도 모릅니다. 우리는 그저 만능 가이드인 ICED를 사용하여 어떤 데이터 지형이든 항해할 수 있습니다.

요약하자면, ICED는 복잡하고 느린 데이터 매핑 과정을 단 한 번의 즉각적인 시선으로 바꾸어 놓는 "한 번 학습하여 영원히 사용하는" 도구입니다. 이는 모든 새로운 데이터셋을 위해 바퀴를 새로 발명할 필요가 없음을 증명합니다. 단지 어떤 지형에서도 잘 굴러갈 수 있는 바퀴가 필요할 뿐입니다.