Technische Samenvatting: Verstrengeling van Abductie en Deductie: Domein-Generalisatie via Representatie-Transplantaties

Probleemstelling

Domein-Generalisatie (DG) houdt zich bezig met het falen van voorspellingsmodellen die zijn getraind op een bronverdeling om te generaliseren naar een onzichtbare doelpopulatie. Standaard causale benaderingen vertrouwen vaak op sterke structurele aannames, zoals het bestaan van een invariant subset van kenmerken of de afwezigheid van niet-gemonitorde verstorende factoren, om invariante voorspellers te identificeren. Empirische benchmarks (bijvoorbeeld DomainBed) suggereren echter dat bestaande methoden vaak niet beter presteren dan standaard Empirisch Risicominimalisatie (ERM), deels vanwege een mismatch tussen aangenomen structuren en de noodzaak tot generalisatie in de echte wereld.

De kernuitdaging die in dit werk wordt geïdentificeerd, is de verstrengeling van abductie en deductie. Elke voorspellingsregel $P(Y|X)$ kan worden gefactoriseerd in een abductiestap (het afleiden van niet-gemonitorde variabelen $\tilde{U}$, zoals verstorende factoren, uit waargenomen $X$) en een deductiestap (het voorspellen van $Y$ gegeven $X$ en $\tilde{U}$). Hoewel de gezamenlijke voorspelling uit data identificeerbaar is, zijn de afzonderlijke abductie- en deductiekaarten dat niet; ze zijn verstrengeld omdat hun product gelijk moet zijn aan de waargenomen voorspellingsregel. Traditionele DG-methoden proberen deze verstrengeling vaak te elimineren door invariantie af te dwingen op beide kaarten of een subset van kenmerken te vinden waar beide invariant zijn. Dit artikel betoogt dat dergelijke strikte invariantie vaak onnodig is en dat de verstrengeling zelf benut kan worden.

Methodologie

1. Theoretisch Kader: Factorisatie van Abductie en Deductie

De auteurs stellen een structurele aanname voor waarbij de deductiekaart (het causale mechanisme dat het label $Y$ genereert uit $X$ en niet-gemonitorde $\tilde{U}$) invariant is over domeinen, terwijl de abductiekaart (de verdeling van $\tilde{U}$ gegeven $X$) varieert.

• Factorisatie: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• Parametrisatie: De auteurs gaan uit van een bevroren voorgetrainde representatie $\phi(X)$ (bijvoorbeeld van een fundamenteel model). Ze parametriseren de abductiekaart als een softmax-lineaire uitlezing en de deductiekaart als een sigmoid-lineaire uitlezing van $\phi(X)$.
  • Abductie: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • Deductie: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    Hierbij zijn $A_s$ domeinspecifieke parameters en is $D$ een gedeelde, invariante parameter.

2. Representatie-Transplantaties

Om de niet-identificeerbaarheid van de verstrengelde kaarten te omzeilen, introduceren de auteurs Representatie-Transplantaties.

• Transplantatiebasis ($L$): Een lineaire operator $L$ wordt gedefinieerd die de abductieparameters links-inverteert ($A_s^\top L = I$) en ligt in de nulkern van de deductieparameter ($D^\top L = 0$).
• Transplantatie-operator ($T_{s \to s'}$): Deze operator verwisselt het abductiecomponent van een representatie van domein $s$ naar domein $s'$, terwijl het deductiecomponent behouden blijft.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• Implicatie: Dit maakt het mogelijk om een familie van plausibele doelpopulaties te construeren. Door bronrepresentaties te transplanteren naar een doelruimte, kan men kandidaat-doelpopulaties genereren die consistent zijn met de brongegevens en de aanname van invariante deductie.

3. Causale Robuuste Optimalisatie (CRO)

De auteurs formuleren DG als een leerder-adversariaal spel genaamd Causale Robuuste Optimalisatie (CRO):

• Adversariaal: Gegeven een huidige leerder $h$, zoekt het adversariaal naar de "slechtst denkbare" plausibele doelpopulatie (geparametriserd door de transplantatiebasis en abductieparameters) die het risico van $h$ maximaliseert. Dit omvat het optimaliseren van de transplantatieparameters onder fit-beperkingen op brongegevens en een sluitingsboete (Hausdorff-afstand) die ervoor zorgt dat de getransplanteerde representaties binnen de steun van de brongegevens blijven.
• Leerder: De leerder updatet $h$ om het maximale risico over de collectie van tot nu toe gegenereerde adversariale doelpopulaties te minimaliseren.
• Convergentie: Het spel eindigt wanneer het risico in het slechtste geval convergeert. Onder ideale aannames (oneindige data, globale optima) is de oplossing minimax-optimaal over de set van structureel plausibele doelpopulaties.

Belangrijkste Bijdragen

1. Herformulering van Verstrengeling: In plaats van de niet-identificeerbaarheid van abductie en deductie te behandelen als een probleem dat moet worden opgelost door de verstrengeling te verwijderen, stelt het artikel voor om de verstrengeling te parametriseren. Dit maakt een gestructureerde zoektocht mogelijk over plausibele doelpopulaties zonder strikte invariantie van de abductiekaart te vereisen.
2. Representatie-Transplantatie: De introductie van een laag-rang lineaire operator op bevroren representaties die de abductie-inhoud manipuleert terwijl de deductie-inhoud behouden blijft. Dit biedt een concreet mechanisme voor gedeeltelijke transporteerbaarheid.
3. Invariante Representaties als Gevolg: Het artikel toont aan dat invariante representaties (een veelvoorkomend doel in DG) ontstaan als een structureel gevolg van de parametrisatie van abductie-deductie en het bestaan van een transplantatiebasis, in plaats van als een primair leerdoel.
4. CRO-algoritme: Een praktisch algoritme dat de min-max-optimalisatie implementeert over de door transplantatie-parameters gedefinieerde set van verdelingen, en een minimax-optimale garantie biedt onder specifieke structurele aannames.

Experimentele Resultaten

De methode werd geëvalueerd op synthetische en real-world benchmarks met behulp van het DomainBed-protocol (leave-one-environment-out, validatie op trainingsdomein).

• Gekleurd MNIST (Synthetisch): In de diagnostische cel waarbij de correlatie tussen kleur en label anti-gesynchroniseerd is met de bron ($\rho = -0.9$), zakken standaard baselines (ERM, IRM, GroupDRO, enz.) af tot $\approx 10\%$ nauwkeurigheid (slechter dan willekeurig). CRO bereikt 76% nauwkeurigheid, en identificeert succesvol het invariante vormkenmerk door het spurious kleurkenmerk te scheiden in de abductie-ruimte en de vorm in de deductie-ruimte.
• PACS (Real-world): Op deze benchmark voor objectherkenning, waar de aanname van deductie-invariantie slechts benaderend is (vanwege stijlverschuivingen), presteert CRO concurrerend (84,6% gemiddeld), wat overeenkomt met de brede baseline-cluster maar niet de top-prestators leidt (SagNet, CORAL). De auteurs schrijven dit toe aan de gedeeltelijke schending van de aanname van deductie-invariantie.
• OfficeHome (Real-world): CRO leidt de gemiddelde prestatie (69,3%) en staat bovenaan in drie van de vier leave-one-domain-out-cellen. De auteurs suggereren dat de structuur van 65 klassen de abductiesignaal rijk genoeg maakt voor het adversariaal zoeken zonder overparametrisatie.
• Structurele Validatie: Een synthetisch dataset "morele vragen" werd geconstrueerd om de structurele premissen te verifiëren. Diagnostiek bevestigde dat de abductie-deductiefactorisatie empirisch gesloten is, dat abductiekaarten verschillend zijn over domeinen, dat deductie-invariantie geldt en dat een geldige transplantatiebasis bestaat.

Betekenis en Claims

Het artikel claimt dat representatietransplantatie een kleine, gestructureerde parametrisatie biedt van de inherent niet-identificeerbare verstrengeling van abductie en deductie die voorkomt in causale inferentie. Door de verstrengeling te omarmen in plaats van deze te elimineren, bereikt het voorgestelde CRO-algoritme minimax-optimaal risico in het slechtste geval voor doelpopulaties over een set van causaal plausibele doelpopulaties.

De betekenis ligt in:

1. Theoretische Strenge: Het bieden van een formele garantie van minimax-optimaliteit onder specifieke structurele aannames (invariante deductie, sluiting onder transplantatie) waar eerdere methoden vaak dergelijke garanties missen of vertrouwen op niet-verifieerbare aannames.
2. Praktische Doeltreffendheid: Het aantonen dat deze benadering invariante kenmerken kan herstellen in "shortcut learning"-scenario's (Gekleurd MNIST) waar andere causale DG-methoden falen, terwijl het concurrerend blijft in complexe real-world omgevingen.
3. Nieuw Perspectief: Het verschuiven van de focus van het direct vinden van invariante kenmerken naar het parametriseren van de ruimte van geldige causale mechanismen (abductie/deductie-paren) die compatibel zijn met waargenomen data.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de sluitingsaanname (dat getransplanteerde representaties pre-afbeeldingen hebben in het doeldomein) structureel is en niet empirisch verifieerbaar zonder doeldata. Ze erkennen ook dat de minimax-garantie berust op geïdealiseerde voorwaarden (oneindige data, globale optimalisatie) en dat de prestaties genadig maar lineair verslechteren wanneer deze voorwaarden worden versoepeld.