🤖 AI

Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

이 논문은 표 형식 데이터(tabular data)를 위한 인컨텍스트 학습자(in-context learners)가 진정한 인과적 신호가 아닌 복합 특징(composite features)에 내재된 가짜 신호(spurious signals)로 예측을 필연적으로 유도한다는 점을 밝히며, 이러한 실패는 컨텍스트의 크기와 모델의 표현력이 커질수록 악화되지만 환경 계층화 컨텍스트 구축(environment-stratified context construction)과 S-swap 증강(S-swap augmentation)을 통해 효과적으로 완화될 수 있음을 보여준다.

원저자: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

게시일 2026-07-29

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 날씨를 예측하는 법을 가르치려 한다고 상상해 보십시오. 당신은 로봇에게 천 장의 맑은 날 사진을 보여줍니다. 모든 사진 속의 하늘은 파란색입니다. 로봇은 단순한 규칙을 학습합니다: "파란 하늘은 햇빛을 의미한다." 하지만 여기 함정이 있습니다. 당신이 찍은 훈련용 사진 속의 하늘은 항상 파란색인데, 이는 당신이 오직 낮에만 사진을 찍었기 때문입니다. 당신은 로봇에게 구름 낀 밤의 사진을 단 한 장도 보여주지 않았습니다. 로봇은 "햇빛"이 "파이란 하늘"을 만든다는 것을 배운 것이 아니라, 단지 "파란색"과 "햇빛"이 우연히 함께 나타난다는 것을 배웠을 뿐입니다. 만약 당신이 나중에 로봇에게 밤의 파란 하늘(불가능한 상황이지만, 로봇이 파란 화면을 본다고 가정해 봅시다) 사진을 보여준다면, 로봇은 혼란에 빠질 수 있습니다. 이것이 바로 **인컨텍스트 러닝(In-Context Learning)**이라는 영리한 기법이 적용된 **머신러닝(Machine Learning)**의 세계입니다. 매번 로봇을 처음부터 다시 훈련시키는 대신, 추측을 하기 직전에 몇 가지 예시를 제공하기만 하면 로봇은 즉석에서 패턴을 파악합니다. 이는 마치 탐정에게 몇 가지 단서를 건네며, 탐정의 뇌를 바꾸지 않고도 "이 사건을 해결하라"고 말하는 것과 같습니다. 그렇다면 만약 그 단서들이 오도한다면 어떻게 될까요? 만약 단서들이, 단지 당신이 보여준 모든 사진 속에 우연히 현장에 있었던 이유로 인해 무고한 용의자를 지목하고 있다면 어떻게 될까요?

이 논문은 병원에서 환자의 회복을 예측하는 것과 같은 일을 할 때, 이 똑똑하고 유연한 로봇들을 속일 수 있는 교묘한 함정을 조사합니다. 연구진은 로봇이 "실제" 정보(예: 환자의 실제 건강 상태)와 "가짜" 정보(예: 특정 병원 장비의 결함)가 섞인 데이터를 볼 때 종종 속아 넘어간다는 것을 발견했습니다. 로봇는 훈련 데이터에서 그 결함이 결과와 완벽하게 일치했기 때문에, 그 결함에 의존하는 법을 배웁니다. 논문은 단순히 로봇에게 더 많은 예시를 주는 것이 이 문제를 해결하지 못한다는 것을 증명합니다. 사실, 그것은 로봇을 더욱 고집스럽게 틀리게 만들 수도 있습니다. 그러나 저자들은 이 마법을 깨뜨릴 수 있는 영리하고 가벼운 기술을 발견했습니다. 이를 통해 로봇이 결함이 무엇인지 정확히 알지 못하더라도, 결함을 무시하고 실제 건강 신호에 집중할 수 있게 해줍니다.

탐정과 고장 난 온도계

이야기 속으로 들어가 봅시다. 한 병원에서 새로운 AI 시스템이 환자들이 얼마나 빨리 회복할지 예측하도록 고용되었다고 상상해 보십시오. 이 시스템은 특정 병원의 데이터를 보여받습니다. 이 병원에는 숨겨진 문제가 하나 있습니다. 온도계가 약간 고장 나서 실제보다 항상 2도 높게 측정됩니다. 하지만 여기서 반전이 있습니다. 이 고장 난 온도계로 "고열" 수치를 보인 환자들이 공교롭게도 빠르게 회복하는 사람들이었다는 점입니다. 왜 그럴까요? 고장 난 온도계는 VIP 병동에서만 사용되었고, VIP 환자들은 더 나은 케어를 받아 더 빨리 회복했기 때문입니다.

패턴 매칭의 천재인 AI는 데이터를 살펴보고 이렇게 말합니다. "아하! 높은 온도 수치는 빠른 회복을 의미하는구나!" AI는 VIP 병동이나 고장 난 온도계에 대해서는 모릅니다. 그저 주어진 데이터에서 **온도(S)**와 **회복(Y)**이 서로 절친한 사이라는 것을 볼 뿐입니다. 그래서 예측을 할 때, AI는 온도 수치를 통해 결정을 내립니다. AI는 "온도에 걸겠다!"라고 생각합니다.

이제 이 AI가 새로운 병원으로 보내졌다고 상상해 보십시오. 이 새 병원은 최신식의 완벽한 온도계를 갖추고 있습니다. VIP 병동은 사라졌습니다. "높은 온도"와 "빠른 회복" 사이의 연결 고리는 끊어졌습니다. 하지만 AI는 여전히 예전의 규칙을 사용하고 있습니다: "높은 온도 = 빠른 회복." 새로운 온도계는 정확하기 때문에, AI는 아픈 환자들에게서 정상적인 온도를 보고 그들이 느리게 회복할 것이라고 예측하거나, 건강한 환자들에게서 높은 온도를 보고 그들이 빠르게 회복할 것이라고 예측합니다. AI는 완전히 실패하며, 자신이 처음에 고장 난 온도계에 속았다는 사실을 알 방법이 없기 때문에 소리 없이 실패합니다.

논문은 이를 **"스퓨리어스 라우팅(Spurious Routing, 가짜 경로 설정)"**이라고 부릅니다. AI가 실제 신호(환자의 실제 건강) 대신 가짜 신호(고장 난 온도계)를 통해 결정을 "경로화(routing)"하고 있는 것입니다.

복합 신호의 함정

연구진은 이것이 단지 고장 난 온도계만의 문제가 아니라는 것을 깨달았습니다. 데이터의 한 부분이 실제 신호(Real Signal)(환자의 실제 건강)와 가짜 신호(Spurious Signal)(장비의 결함)의 "묶음"일 때 언제든 발생합니다. 수학의 세계에서 이를 "복합 표현(composite representation)"이라고 부릅니다.

논문은 큰 질문을 던집니다. AI가 결함을 무시하도록 가르칠 수 있을까? 저자들은 두 종류의 AI 탐정을 테스트했습니다:

선형 탐정(The Linear Detective): 기본적인 수학을 수행하는 단순한 규칙 기반 AI(매우 똑똑한 스프레드시트와 같습니다).
TabPFN: 세상의 모든 의학 서적을 읽은 천재 탐정과 같은 초고성능의 "최첨단" AI.

그들은 "결함(S)"이 "실제 건강(C)"과 얼마나 섞여 있는지 정확히 제어하면서 수천 번의 시뮬레이션을 실행했습니다. 그들은 놀랍고도 다소 무서운 사실을 발견했습니다: AI는 스스로 이 문제를 해결할 수 없습니다.

설령 당신이 첫 번째 병원의 예시를 점점 더 많이 제공하더라도, AI는 결함에 대해 더 똑똑해지지 않습니다. 사실, 논문은 AI에게 더 많은 문맥(더 많은 예시)을 주는 것이 오히려 AI를 잘못된 답에 더 집착하게 만든다는 것을 보여줍니다. 만약 결함이 훈련 데이터에서 조금이라도 도움이 되었다면, AI는 그것을 더 고수할 것입니다. 더 많은 예시를 보여줄수록, AI는 그 결함이 진실이라고 더 강력하게 믿게 됩니다.

저자들은 결함과 결과가 훈련 데이터에서 연결되어 있는 한, AI가 반드시 결함을 사용할 수밖에 없음을 수학적으로 증명했습니다. 이것은 버그가 아니라, 이러한 모델들이 작동하는 방식의 특징입니다. 그들은 이를 "피할 수 없는 스퓨리어스 라우팅(unavoidable spurious routing)"이라고 부릅니다.

마법의 기술: "S-Swap"

그렇다면 AI가 속을 운명이라면, 희망은 없을까요? 저자들은 그렇다고 말하며, 놀라울 정도로 간단한 해결책을 찾아냈습니다. 그들은 이를 **"S-swap 증강(S-swap augmentation)"**이라고 부릅니다.

당신이 다시 탐정이라고 상상해 보십시오. 당신에게는 사건 파일 더미가 있습니다. 모든 파일에는 온도 수치와 회복 시간이 적혀 있습니다. 이 파일들은 모두 고장 난 온도계가 있는 VIP 병동의 파일들입니다.
"S-swap" 기술은 이렇습니다: 당신은 파일 A의 온도 수치를 가져와서 파일 B의 온도 수치와 맞바꿉니다. 하지만 회복 시간은 그대로 유지합니다.

파일 A (원본): "고장 난 온도계가 104°F를 가리킴, 환자 빠르게 회복함."
파일 B (원본): "고장 난 온도계가 98°F를 가리킴, 환자 느리게 회복함."

이제 온도를 바꿉니다:

파일 A (수정됨): "고장 난 온도계가 98°F를 가리킴, 환자 빠르게 회복함."
파일 B (수정됨): "고장 난 온도계가 104°F를 가리키킴, 환자 느리게 회복함."

이제 패턴을 보십시오. 온도는 더 이상 회복을 예측하지 못합니다! 높은 온도는 이제 느린 회복과 짝을 이루고, 낮은 온도는 빠른 회복과 짝을 이룹니다. 연결 고리가 끊어졌습니다. AI는 이 새로운, 바뀐 데이터를 보고 깨닫습니다. "잠깐, 온도는 전혀 중요하지 않구나! 이건 그냥 노이즈일 뿐이야."

논문은 이 기술이 매우 효과적임을 보여줍니다.

단순한 선형 탐정의 경우, 결함에 대한 의존도를 74% 줄였습니다.
초고성능인 TabPFN의 경우, 의존도를 무려 **98.8%**나 줄였습니다.

더 나아가, AI는 단순히 "혼란"에 빠지거나 "포기"한 것이 아니었습니다. AI는 실제로 실제 건강 신호에 주목하기 시작했습니다. 논문에 따르면 AI의 실제 원인에 대한 민감도가 8.4배 증가했습니다. AI는 학습을 멈춘 것이 아니라, 올바른 것을 학습한 것입니다.

이것이 중요한 이유

연구진은 이를 실제 세계의 데이터에도 테스트했습니다. 서로 다른 실험실에서 나온 인간 췌장 세포 데이터셋을 사용했습니다. 비록 그들은 데이터의 어느 부분이 "결함"이고 어느 부분이 "실제 생물학적 특성"인지 정확히 알지 못했지만, 실험실 간에 데이터가 어떻게 변하는지를 관찰함으로써 결함을 추정할 수 있었습니다. S-swap 기술을 적용했을 때, 실험실 특유의 결함에 대한 AI의 의존도는 거의 89% 감소했습니다.

논문은 우리가 이러한 강력한 AI 모델을 새로 구축하거나 복잡한 새로운 규칙을 가르칠 필요가 없다고 결론짓습니다. 우리는 단지 우리에게 보여주는 예시를 더 똑똑하게 다루기만 하면 됩니다. AI가 추측을 하기 전에 데이터의 "결함이 있는" 부분을 맞바꿈으로써, 우리는 AI가 가짜 신호를 무시하고 진실에 집중하도록 유도할 수 있습니다.

이는 AI의 세계에서 때로는 로봇에게 더 많은 데이터를 주는 것보다, 로봇이 진실을 볼 수밖에 없도록 이미 가지고 있는 데이터를 재배열하는 것이 더 현명한 방법일 수 있음을 상기시켜 줍니다. 이 논문은 이러한 모델들이 강력하지만 동시에 "스퓨리어스 라우팅"에 취약하다는 것을 증명하는 동시에, 약간의 영리한 데이터 혼합을 통해 그들을 올바른 길로 인도할 수 있음을 보여줍니다.

기술 요약: 설계된 얽힘: 표 형식 인컨텍스트 학습에서의 부적절한 변수 내 신호 라우팅

문제 정의

본 논문은 특히 이질적인 환경(예: 서로 다른 병원 또는 실험 배치)에 모델이 배포될 때 발생하는 **인컨텍스트 학습(In-Context Learning, ICL)**의 치명적인 실패 모드를 다룹니다. 핵심 문제는 **부적절한 변수 내 신호 라우팅(spurious intra-variable signal routing)**입니다.

많은 실제 시나리오에서 관찰된 특징 벡터 $X$ 는 진정한 인과적 신호 $C$ (예: 환자의 건강 상태)와 부적절한 신호 $S$ (예: 장비 아티팩트 또는 배치 효과)가 결합된 복합체이며, 이는 동일한 특징 공간 또는 별도의 부분 공간 내에 얽혀 있습니다: $X = [C; \alpha S; \eta]$ . 단일 환경 내에서 관찰되지 않은 혼란 변수 $U$ (예: 환자의 인구 통계학적 특성)는 특정 환경 내에서 $S$ 와 결과 $Y$ 를 모두 유발하여, 비제로(non-zero) 인컨텍스트 상관관계 $\text{Corr}(S, Y) \neq 0$ 을 생성할 수 있습니다.

TabPFN이나 선형 리지 추정기와 같은 표준 ICL 모델은 컨텍스트 예시만을 관찰합니다. 이러한 모델들은 $S$ 가 컨텍스트 내에서 예측력이 있기 때문에, $S$ 를 통해 예측을 수행하도록 합리적으로 학습하지만, 이는 비인과적인 신호입니다. $S$ 와 $Y$ 의 관계가 변하는 새로운 환경(장비나 사이트별 요인으로 인해)에 배포될 때, 모델은 소리 없이 실패하게 됩니다. 이는 전통적인 교차 변수(cross-variable) 부적절 상관관계 문제와는 다르며, 그 이유는 인과적 신호와 부적절한 신호가 종종 단일 관찰된 특징 벡터 내에 얽혀 있거나 복합 표현의 별도 부분 공간에 존재하여, 표준적인 인컨텍스트 통계만으로는 구분이 불가능하기 때문입니다.

방법론

이론적 프레임워크

저자들은 다음과 같은 구조적 인과 모델(SCM)을 사용하여 설정을 공식화합니다:

인과적 신호 ( $C$ ): 환경 전반에 걸쳐 불변함.
부적절한 신호 ( $S$ ): 특정 환경 내에서 공유된 혼란 변수 $U$ 를 통해서만 $Y$ 와 상관관계를 가짐.
복합 관측치: $X = [C; \alpha S; \eta]$ , 여기서 $\alpha$ 는 얽힘 강도를 제어함.

논문은 라우팅 동작을 정량화하기 위한 진단 지표로 **인과적 민감도 비율(Causal Sensitivity Ratio, CSR)**을 도입합니다:
$\text{CSR}(w) := \frac{\mathbb{E}[|w_S \alpha \Delta S|]}{\mathbb{E}[|w_C \Delta C|]}$
여기서 $\Delta S$ 와 $\Delta C$ 는 각각 부적절한 성분과 인과적 성분의 섭동(교체)을 나타냅니다.

$\text{CSR} \approx 0$ : 모델이 인과적 신호를 통해 라우팅함.
$\text{CSR} > 1$ : 모델이 인과적 신호보다 부적절한 신호에 더 민감함 (실패 레짐).

이론적 분석

저자들은 리지 ICL(선형 인컨텍스트 학습)에 대한 모집단 CSR의 폐쇄형(closed-form) 특성을 도출했습니다:
$\text{CSR}_{\text{pop}} = \underbrace{\frac{\alpha^2}{\alpha^2 + \lambda}}_{\text{entanglement}} \cdot \underbrace{\frac{\rho_S}{\rho_C}}_{\text{signal ratio}} \cdot \underbrace{(1 + \lambda)\kappa(\delta)}_{\text{protocol constant}}$
주요 이론적 발견은 다음과 같습니다:

불가피성: 인컨텍스트 혼란( $\rho_S \neq 0$ )이 존재할 경우, 임의의 규제 강도 $\lambda > 0$ 하에서 부적절한 라우팅은 피할 수 없습니다.
컨텍스트 크기: 더 큰 컨텍스트 크기는 이 문제를 해결하지 못하며, 높은 부적절함 레짐에서는 부적절한 신호에 대한 몰입을 최대 $1.74\times$ 까지 증폭시킬 수 있습니다.
식별 가능성: $C$ 와 $S$ 가 단일 스칼라 좌표( $D=1$ )를 공유하는 경우 라우팅은 식별 불가능하며, 진단을 위해서는 별도의 부분 공간이 필요합니다.

완화 전략

논문은 인과적 분할에 대한 지식 없이도 약한 환경 레이블(예: 배치 ID)만을 필요로 하는, 컨텍스트 구성 단계에서 작동하는 두 가지 경량의 모델 불가지론적 개입을 제안합니다:

환경 계층화 컨텍스트 구성(Environment-Stratified Context Construction): $Y$ 수준은 일정하게 유지하면서 $S$ 의 분포를 섞기 위해 서로 다른 환경에서 컨텍스트 예시를 샘플링하여 인컨텍스트 $\text{Corr}(S, Y)$ 를 감소시킵니다.
S-swap 증강(S-swap Augmentation): 각 컨텍스트 포인트 $(X_i, Y_i)$ 에 대해, $X_i$ 의 부적절한 차원을 다른 환경의 것으로 대체한 쌍 $( \tilde{X}_i, Y_i )$ 를 추가합니다. 이는 모델에게 포인트 수준에서 $S$ 가 $Y$ 를 예측하지 않는다는 신호를 보냅니다.

주요 결과

경험적 검증

저자들은 통제된 구조적 인과 모델을 사용하여 선형 ICL(리지 회귀)과 TabPFN(최첨단 사전 학습된 표 형식 트랜스포머) 모두에서 이론을 검증했습니다.

이론과의 상관관계: 경험적 CSR은 선형 ICL의 경우 $r=0.997$ , TabPFN의 경우 $r=0.979$ 로 이론적 예측치인 $\hat{\rho}_S / \hat{\rho}_C$ 와 강력하게 상관됩니다.
증폭 효과:
- 컨텍스트 크기( $n$ )를 16에서 512로 늘리면 높은 부적절함 레짐에서 부적절한 라우팅이 $1.74\times$ 증폭되었습니다.
- 더 표현력이 높은 모델(TabPFN)은 높은 얽힘 코너에서 선형 ICL보다 더 큰 취약성( $+2.22$ CSR 격차)을 보였으나, 완화 조치에는 더 민감하게 반응했습니다.
강건성: 이론적 예측은 부분 공간 중첩(최대 $40^\circ$ 회전)이 있는 경우에도 유지되었으며, 상관관계는 약간의 저하( $r \geq 0.93$ )만을 보였습니다.

완화 성능

선형 ICL: S-swap은 CSR을 74% 감소시켰고, OOD RMSE를 34.2% 개선했습니다.
TabPFN: S-swap은 CSR을 98.8%(5.777에서 0.067으로) 감소시켰습니다. 결정적으로, 모델은 무관해진 것이 아니라 인과적 신호로 **재라우팅(reroute)**되어 인과적 민감도가 8.4 $\times$ 증가했습니다.
실제 세계 검증: scIB pancreas 데이터셋(단일 세포 유전체학)에서 S-swap은 배치 구조로부터 유도된 추정된 부적절 부분 공간만을 사용하여 CSR을 88.9% 감소시켰으며, 이는 실제 정답 인과 레이블 없이도 적용 가능함을 확인시켜 줍니다.

의의 및 주장

본 논문은 ICL이 교차 변수 부적절 상관관계와는 구별되는 특정 실패 모드를 식별하고 공식화했다고 주장합니다. 주요 기여는 다음과 같습니다:

불가능성에 대한 이론적 증명: 복합 표현에서 인컨텍스트 혼란이 존재할 때 표준 규제로는 부적절한 라우팅을 제거할 수 없음을 입증했습니다.
진단 지표: 인과적 분할이 잠재적인 경우에도 섭동 기반의 견고한 진단 도구로서 CSR을 도입했습니다.
모델 불가지론적 솔루션: 모델 재학습, 구조 변경, 또는 인과적 분할에 대한 접근 없이도 ICL 모델이 부적절한 신호를 무시하고 인과적 신호에 의존하도록 효과적으로 강제하는 컨텍스트 수준의 개입인 S-swap 증강을 제안했습니다.
역설적 표현력: 높은 부적절함 레짐에서 더 표현력이 높은 모델(TabPFN 등)이 부적절한 라우팅에 더 취약하지만, 그 역량 덕분에 불변 신호(S-swap)에 더 극적으로 반응하여 선형 베이스라인보다 우수한 회복력을 보인다는 점을 강조했습니다.

저자들은 본 연구를 과학 및 생물 의학 분야에서 ICL을 배포할 때 필수적인 교정 작업으로 위치시키며, 이 분야에서 데이터 이질성은 일반적인 현상이며 데이터 시프트로 인한 소리 없는 실패는 심각한 위험 요소임을 명시합니다.