Learning Robust Intervention Representations with Delta Embeddings

이 논문은 시각적 장면과 무관하고 인과 변수에 대해 희소한 '인과 델타 임베딩 (Causal Delta Embedding)'을 제안하여 개입 표현을 학습함으로써 분포 외 (OOD) 환경에서의 모델 강건성을 크게 향상시키는 방법을 제시합니다.

핵심

1. 문제: AI 는 왜 새로운 상황을 못 풀까?

지금까지의 AI 는 마치 어떤 식당에서 '김치찌개'를 아주 잘 만드는 요리사와 같습니다. 그 식당의 김치찌개 맛을 완벽하게 기억하죠. 하지만 그 요리사가 다른 식당으로 가서, 그 식당의 '김치찌개'를 만들어달라고 하면 당황할 수 있습니다.

• 이유: AI 는 '김치찌개'라는 이름과 '그 식당의 분위기 (배경, 조명, 그릇)'를 함께 기억해 버렸기 때문입니다.
• 현실: AI 는 실제 상황 (배경, 조명, 다른 물건들) 과 섞여서 학습하다 보니, 정작 중요한 '무엇을 어떻게 바꿨는지 (행동)'만 따로 떼어내어 이해하지 못합니다. 그래서 새로운 상황 (OOD, Out-Of-Distribution) 에 가면 엉뚱한 답을 내놓습니다.

2. 해결책: '델타 (차이)'를 보는 눈

이 논문은 AI 에게 "무엇이 변했는지"만 집중하는 안경을 씌워주려 합니다. 이를 **Causal Delta Embedding (인과적 델타 임베딩)**이라고 부릅니다.

🍎 비유: 사과와 오렌지

• 기존 AI: "사과가 오렌지로 변했다!"라고 외우면, 그 사과가 빨간색인지 초록색인지, 배경이 주방인지 거실인지까지 다 기억합니다. 그래서 초록 사과가 오렌지로 변하는 걸 보면 "아니야, 이건 빨간 사과였잖아!"라고 혼란을 겪습니다.
• 새로운 AI (이 논문): "사과가 오렌지로 변했다"는 사실만 기억합니다. 배경이 뭐든, 사과 색이 뭐든 상관없습니다. 오직 '변화 (델타)' 그 자체에 집중합니다.

3. 핵심 아이디어: 3 가지 규칙

이 새로운 AI 는 변화를 학습할 때 세 가지 규칙을 따릅니다.

1. 독립성 (Independence): "배경이나 다른 물건은 내 일이 아니다."
   • 비유: 당신이 문을 열 때, 문이 열렸다는 사실만 중요하지, 문 옆에 있는 화분이 어떤 색이든 상관없습니다. AI 는 화분 색을 무시하고 '문 열기'만 학습합니다.
2. 희소성 (Sparsity): "작은 변화만 일으킨다."
   • 비유: 당신이 책상 위를 정리할 때, 책상 전체가 뒤집어지는 게 아니라 '책'과 '펜' 위치만 바뀝니다. AI 는 모든 것이 바뀌는 게 아니라 일부만 바뀐다는 점을 학습합니다.
3. 불변성 (Invariance): "누가 하든, 무엇을 하든 '열기'는 '열기'다."
   • 비유: '문'을 여는 것과 '서랍'을 여는 것은 물체는 다르지만, '열기'라는 행동의 본질은 같습니다. AI 는 문이든 서랍이든 '열기'라는 행동의 패턴은 똑같다고 학습합니다.

4. 어떻게 작동할까? (비교하기)

이 AI 는 두 장의 사진을 비교해서 배웁니다.

1. 행동 전 사진 (Before)
2. 행동 후 사진 (After)

AI 는 이 두 장을 뚫어지게 보며 **"두 사진의 차이점 (Delta)"**을 찾아냅니다.

• "아, 이 차이점이 바로 '서랍을 여는' 행동이구나!"
• "아, 이 차이점이 '문을 닫는' 행동이구나!"

이렇게 차이점만 따로 떼어내어 (차이 벡터) 학습하기 때문에, 처음 보는 서랍이나 처음 보는 문이 나와도 "아, 이 차이 패턴은 내가 배운 '열기' 행동이네!"라고 바로 알아맞힙니다.

5. 실험 결과: 얼마나 잘할까?

연구진은 이 방법을 **가상의 주방 (ProcTHOR)**과 **실제 주방 영상 (Epic-Kitchens)**으로 테스트했습니다.

• 결과: 기존 AI 들은 새로운 상황 (예: 처음 보는 물건이나 새로운 조합) 에서는 3050% 정도만 맞췄지만, 이 새로운 방법은 **7090% 이상**을 맞췄습니다.
• 재미있는 발견: AI 가 스스로 "열기 (Open)"와 "닫기 (Close)"가 서로 정반대라는 것을 깨달았습니다. 마치 수학에서 +1 과 -1 이 서로 반대 방향인 것처럼, AI 의 뇌 속에서도 이 두 행동이 정반대 방향으로 자리 잡았습니다. 이는 AI 가 아무런 설명 없이도 행동의 논리적 구조를 스스로 발견했다는 뜻입니다.

6. 결론: 왜 중요한가?

이 연구는 AI 가 단순히 패턴을 외우는 것을 넘어, 세상이 어떻게 변하는지 그 원리 (인과관계) 를 이해하도록 돕습니다.

• 로봇: 새로운 물건을 만나도 어떻게 조작해야 할지 추론할 수 있습니다.
• 의료: 새로운 환자가 나와도 치료의 핵심 원리를 적용할 수 있습니다.

요약하자면, 이 논문은 AI 에게 **"세상의 모든 변화는 결국 '무엇이 변했는지'만 기억하면 된다"**는 철학을 가르쳐주어, 더 똑똑하고 유연한 AI 를 만드는 길을 열었습니다.

기술 요약

이 논문은 ICLR 2026 에 게재된 **"Learning Robust Intervention Representations with Delta Embeddings"**로, 인과적 표현 학습 (Causal Representation Learning, CRL) 분야에서 개입 (intervention) 자체를 학습하는 새로운 프레임워크인 **인과적 델타 임베딩 (Causal Delta Embedding, CDE)**을 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 딥러닝 모델은 복잡한 패턴을 학습하지만, 데이터 분포가 변경되는 상황 (Out-of-Distribution, OOD) 에서는 일반화 능력이 떨어지는 한계가 있습니다. 이를 해결하기 위해 인과적 추론이 필수적입니다.
• 기존 연구의 한계: 기존 CRL 연구는 주로 장면의 인과적 변수 (latent variables) 를 분리하고 식별하는 데 집중했습니다. 그러나 개입 (action/intervention) 자체의 표현을 학습하는 연구는 상대적으로 부족했습니다.
• 핵심 과제: 객체나 배경의 변화에 영향을 받지 않고, 개입의 본질적인 인과적 서명 (causal signature) 만을 포착하여 새로운 객체 - 행동 조합 (compositional shifts) 이나 완전히 새로운 객체 클래스 (systematic shifts) 에도 강건하게 일반화할 수 있는 표현을 학습하는 것입니다.

2. 방법론 (Methodology)

저자들은 **인과적 델타 임베딩 (Causal Delta Embedding, CDE)**을 제안하며, 이는 사전 상태와 사후 상태의 잠재 공간 표현 차이를 통해 개입을 모델링합니다.

가. Causal Delta Embedding (CDE) 의 정의

개입 $a$에 대한 델타 임베딩 $\delta_a$는 인코더 $\phi$를 통해 얻은 사전 상태 ($z$) 와 사후 상태 ($\tilde{z}$) 의 차이로 정의됩니다.
$$\delta_a = \phi(\tilde{x}) - \phi(x)$$
이 임베딩은 다음 세 가지 핵심 속성을 만족해야 합니다:

1. 독립성 (Independence): 개입과 무관한 장면 요소 (조명, 카메라 각도 등) 나 영향을 받지 않는 객체의 특성과는 무관해야 합니다. (ICM 가정 준수)
2. 희소성 (Sparsity): 개입은 시스템의 인과적 메커니즘 중 소수만 변경합니다. 따라서 $\delta_a$는 희소 (sparse) 해야 합니다. (SMS 가정 준수)
3. 불변성 (Invariance): 동일한 개입 (예: '열기') 이 다른 객체 (문, 서랍, 상자 등) 에 적용되더라도 표현은 동일해야 합니다. 즉, 객체에 의존하지 않아야 합니다.

나. 모델 아키텍처

두 가지 모델 구조를 제안합니다:

1. 글로벌 CDE 모델: ViT(Vision Transformer) 의 CLS 토큰을 사용하여 전체 이미지의 전역적 표현을 학습합니다.
2. 패치 단위 (Patch-Wise) CDE 모델: 복잡한 다중 객체 장면에서 개입이 국소적으로 발생할 수 있음을 고려하여, 이미지 패치 단위로 델타를 계산하고 Top-K 개 패치만 선택하여 집계합니다.

다. 학습 목표 (Loss Function)

세 가지 손실 함수를 결합하여 학습합니다:

1. 교차 엔트로피 손실 (Cross-Entropy Loss): 델타 임베딩이 개입 분류 작업에 유용하도록 합니다.
2. 지도 대비 학습 손실 (Supervised Contrastive Loss): 동일한 개입 클래스에 속하는 델타 임베딩들은 서로 가깝게, 다른 클래스는 멀게 배치하여 불변성을 학습합니다.
3. 희소성 정규화 (Sparsity Regularizer, L1): 델타 벡터의 L1 노름을 최소화하여 희소성을 강제합니다.

3. 주요 기여 (Key Contributions)

1. Causal Delta Embedding (CDE) 프레임워크 제안: 인과적 변수를 분리하는 대신, 개입 그 자체를 분리된 잠재 공간에서 벡터 차이로 표현하는 새로운 접근법을 제시했습니다.
2. 다목적 손실 함수 설계: 시각 데이터로부터 직접 분리되고, 희소하며, 객체에 불변하는 인과적 표현을 학습하기 위한 손실 함수를 설계했습니다.
3. SOTA 성능 달성: Causal Triplet 챌린지 (단일 객체 합성 데이터, 다중 객체 합성 데이터, Epic-Kitchens 실세계 데이터) 에서 OOD 일반화 성능을 기존 베이스라인을 크게 상회하는 수준으로 끌어올렸습니다.
4. 무감독 의미 구조 발견: 명시적인 지도 없이도 모델이 '열기/닫기', '더럽다/깨끗하다'와 같은 반대되는 행동 간의 반평행 (anti-parallel) 관계를 임베딩 공간에서 자동으로 발견하고 학습했음을 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: ProcTHOR (합성 데이터) 와 Epic-Kitchens (실세계 데이터) 를 사용했습니다.
• 성능:
  • 단일 객체 (ProcTHOR): OOD 일반화 격차 (Gap) 를 기존 방법 (0.56) 에서 0.21 로 크게 줄였으며, IID 정확도와 유사한 수준을 유지했습니다.
  • 다중 객체 및 실세계: 패치 단위 모델이 Ground Truth 마스크를 사용하는 오라클 (Oracle) 방법보다도 뛰어난 OOD 성능을 보였습니다. 특히 Epic-Kitchens 에서 기존 ResNet 기반 모델 대비 OOD 정확도가 크게 향상되었습니다.
• 분석:
  • 기하학적 분석: 학습된 임베딩 공간에서 반대되는 행동 쌍 (예: open vs close) 의 코사인 유사도가 -1.0 에 근접하여 완벽한 반평행 관계를 형성함을 확인했습니다.
  • 예측 능력: 학습된 행동 벡터를 사전 상태에 더하면 사후 상태를 거의 완벽하게 (코사인 유사도 0.98) 예측할 수 있음을 확인하여, 모델이 개입의 기계적 원리를 학습했음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 인과적 표현 학습의 패러다임을 '변수 식별'에서 '개입 표현 학습'으로 확장했습니다. 제안된 CDE 방법은 개입의 본질적인 인과적 메커니즘을 포착하여, 훈련 데이터에서 보지 못한 객체나 조합에서도 강력한 일반화 능력을 발휘합니다. 이는 로봇 공학, 자율 주행, 의료 등 동적 환경에서 작동하는 AI 에이전트의 견고성 (Robustness) 을 높이는 데 중요한 기여를 할 것으로 기대됩니다. 또한, 명시적인 레이블 없이도 행동 간의 논리적 관계 (반대 관계 등) 를 스스로 발견한다는 점은 비지도 학습의 가능성을 보여줍니다.