Learning Robust Intervention Representations with Delta Embeddings

Titel: Learning Robust Intervention Representations with Delta Embeddings

Auteurs: Panagiotis Alimisis & Christos Diou (Harokopio University of Athens)
Context: Causal Representation Learning (CRL) en Out-of-Distribution (OOD) generalisatie.

---

1. Het Probleem

Diepe leermodellen presteren vaak uitstekend op data die overeenkomt met de trainingsverdeling (IID), maar falen bij generalisatie naar nieuwe situaties waar de onderliggende data-distributie verschuift (OOD). Dit is een kritieke beperking voor AI-agenten in dynamische omgevingen.

Specifiek binnen Causal Representation Learning (CRL) richt het meeste onderzoek zich op het ontrafelen van de toestandsvariabelen van een scène (bijv. de positie van objecten). Er is echter minder aandacht voor het leren van representaties van de interventies (acties) zelf.

• De uitdaging: Hoe kunnen we een representatie van een actie (bijv. "openen") leren die robuust is, ongeacht welk object er wordt geopend of wat de achtergrondscène is?
• De beperking van bestaande methoden: Bestaande benaderingen leren vaak geënteerde (entangled) representaties waarbij de actie-embeddings afhankelijk zijn van specifieke objectkenmerken of scènes, wat leidt tot slechte prestaties bij compositional shifts (nieuwe combinaties van objecten en acties) en systematische shifts (volledig nieuwe objectklassen).

2. Methodologie: Causal Delta Embeddings (CDE)

De auteurs introduceren een nieuw raamwerk genaamd Causal Delta Embedding (CDE). Het kernidee is dat een interventie kan worden gerepresenteerd als een vectorverschil in de latente ruimte tussen de toestand voor en na de interventie.

Kernconcepten

Een CDE ($\delta_a$) voor een actie $a$ wordt gedefinieerd als:
$$\delta_a = \phi(\tilde{x}) - \phi(x)$$
Waarbij $\phi$ een encoder is, $x$ de pre-interventie afbeelding en $\tilde{x}$ de post-interventie afbeelding.

Om robuust te zijn, moet deze embedding voldoen aan drie fundamentele eigenschappen, gebaseerd op causaliteitstheorie:

1. Onafhankelijkheid (Independence): De representatie van de actie moet onafhankelijk zijn van scènes-elementen die niet door de actie worden beïnvloed (in overeenstemming met de Independent Causal Mechanisms - ICM - aanname).
2. Sparsiteit (Sparsity): De actie beïnvloedt slechts een klein subset van causale variabelen. De vector $\delta_a$ moet dus spaarzaam zijn (veel dimensies zijn nul), in overeenstemming met de Sparse Mechanism Shift (SMS) aanname.
3. Invariantie (Invariance): De representatie van een actie (bijv. "openen") moet hetzelfde blijven, ongeacht welk object er wordt geopend. Dit vereist dat de variantie van de delta-embeddings over verschillende objecten minimaal is.

Modelarchitectuur

Het paper stelt twee architecturen voor:

1. Global Causal Delta Embedding Model:
   • Gebruikt een pre-getrainde Vision Transformer (ViT) met DINO als backbone.
   • Verwerkt de gehele afbeelding via een '[CLS]' token.
   • Berekent het verschil tussen de latente vectoren van het 'voor' en 'na' beeld.
2. Patch-Wise Delta Embedding Model:
   • Ontworpen voor complexe scènes met meerdere objecten.
   • Berekent delta-embeddings per image patch.
   • Selecteert de Top-K patches met de grootste verandering (grootste $L_2$-norm van de delta) om de actie te classificeren. Dit voorkomt dat belangrijke lokale veranderingen worden "weggegemiddeld" door de achtergrond.

Leerdoel (Loss Function)

Het model wordt getraind met een multi-objectieve loss-functie:
$$\mathcal{L}_{total} = \mathcal{L}_{CE} + \alpha_{contrast}\mathcal{L}_{contrast} + \alpha_{sparsity}\mathcal{L}_{sparsity}$$

• Cross-Entropy Loss ($\mathcal{L}_{CE}$): Zorgt dat de delta-embedding correct de actieklasse voorspelt.
• Supervised Contrastive Loss ($\mathcal{L}_{contrast}$): Dwingt embeddings van dezelfde actie (maar verschillende objecten) dichter bij elkaar te liggen (bevordert Invariantie).
• Sparsity Regularizer ($\mathcal{L}_{sparsity}$): Een $L_1$-strafterm die de som van de absolute waarden van de embedding-dimensies minimaliseert (bevordert Sparsiteit).

3. Belangrijkste Bijdragen

1. Causal Delta Embedding (CDE): Een nieuwe aanpak om interventies te leren als vectorverschillen in een ontrafeld latente ruimte, in plaats van het leren van statische toestandsvariabelen.
2. Multi-objectieve Loss: Een ontwerp dat expliciet onafhankelijkheid, sparsiteit en object-invariantie afdwingt via een combinatie van cross-entropy, contrastive learning en $L_1$-regularisatie.
3. State-of-the-Art Resultaten: Het bereiken van nieuwe topresultaten in de Causal Triplet challenge, zowel op synthetische als real-world data.
4. Semantische Ontdekking: Het model ontdekt autonoom de semantische structuur van de actie-ruimte, inclusief anti-parallelle relaties tussen tegenovergestelde acties (bijv. "openen" vs. "sluiten" hebben een cosine similarity van -1.0), zonder expliciete supervisie.

4. Resultaten

De evaluatie vond plaats op de Causal Triplet benchmark, bestaande uit drie settings:

• Single-object synthetisch (ProcTHOR):
  • Het CDE-model (met ViT-DINO) bereikte 75% OOD-accuraatheid bij systematische shifts, vergeleken met 47-54% voor bestaande baselines (zoals ICM en SMS methoden).
  • De generalisatiegap (verschil tussen IID en OOD) werd drastisch verkleind van 0.56 naar 0.21.
• Multi-object synthetisch (ProcTHOR):
  • Het Patch-Wise model overtrof alle baselines, inclusief "Oracle-mask" methoden die gebruikmaken van ground-truth segmentatiemaskers.
  • OOD-accuraatheid: 45-48% (tegenover ~30% voor ResNet baselines).
• Real-world (Epic-Kitchens):
  • Het model behaalde 34% OOD-accuraatheid, wat significant hoger is dan de 27% van de beste bestaande methoden (GroupViT).

Ablatie Studies:

• Het verwijderen van de contrastive loss leidde tot een daling van 7 punten in OOD-accuraatheid.
• Het verwijderen van de sparsity loss leidde tot een daling van 2 punten.
• Dit bevestigt dat beide componenten essentieel zijn voor generalisatie.

5. Betekenis en Impact

Dit werk is significant omdat het verschuift van het focus op "wat is er in de scène?" naar "wat is er gebeurd?".

• Robuustheid: Door interventies te modelleren als invariant en spaarzaam, kunnen agenten beter omgaan met nieuwe objecten en onbekende combinaties van acties en objecten.
• Semantisch Begrip: Het feit dat het model zonder supervisie ontdekt dat "openen" en "sluiten" elkaars tegenhangers zijn, suggereert dat het model de onderliggende causale mechanismen van de wereld heeft geleerd in plaats van alleen statistische correlaties.
• Toepassingsgebied: De methode is direct toepasbaar op robotica en autonome systemen die moeten opereren in dynamische, onvoorspelbare omgevingen waar causale redenering cruciaal is.

De code is openbaar beschikbaar, wat de reproduceerbaarheid en verdere ontwikkeling in het veld van causaal representation learning stimuleert.