🤖 machine learning

Abduction-Deduction Entanglement: Domain Generalization via Representation Transplants

Dieser Artikel schlägt eine Methode zur Domänengeneralisierung namens „Repräsentationstransplantation" vor, die die partielle Identifizierbarkeit optimaler Vorhersagen durch ein „Abduktions-Deduktions-Verflechtungs"-Rahmenwerk nutzt, indem ein Lernender-Adversary-Spiel eingesetzt wird, um invariante kausale Mechanismen zu suchen und minimax-optimale Zielvorhersagen zu erreichen.

Ursprüngliche Autoren: Kasra Jalaldoust, Elias Bareinboum

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kasra Jalaldoust, Elias Bareinboum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Einheitsgröße"-Falle

Stellen Sie sich vor, Sie trainieren einen Roboter, um Katzen zu erkennen. Sie zeigen ihm Tausende von Fotos von flauschigen, weißen Katzen, die auf Sofas sitzen (die Quelle). Der Roboter lernt perfekt. Doch dann testen Sie ihn an einem Foto einer schlanken, schwarzen Katze, die in einem Park rennt (das Ziel). Der Roboter scheitert. Er dachte, „Katze" bedeute „flauschig und auf einem Sofa".

Im maschinellen Lernen nennt man dies Domain Generalization (Domänengeneralisierung). Das Ziel ist es, ein Modell zu bauen, das nicht nur auf den Daten funktioniert, mit denen es trainiert wurde, sondern auch auf neuen Daten, die es noch nie gesehen hat. Das Problem ist, dass wir nicht genau wissen, wie sich die neuen Daten unterscheiden werden.

Die Kernidee: Zwei Schritte zu einer Entscheidung

Die Autoren argumentieren, dass jede Entscheidung, die ein Modell trifft, eigentlich ein zweistufiger Prozess ist, wie ein Detektiv, der einen Fall löst:

Abduktion (Das „Wer?"): Unter Berücksichtigung der Beweise (der Eingabedaten) rät das Modell, wer oder welche Art von Situation es zu behandeln hat.
- Beispiel: „Diese Frage wird von einer Person gestellt, die sehr viel Wert auf Regeln legt."
Deduktion (Das „Was?"): Basierend auf dieser Vermutung sagt das Modell die Antwort voraus.
- Beispiel: „Da diese Person Wert auf Regeln legt, wird sie zum Brechen des Gesetzes ‚Nein' sagen."

Die Verstrickung:
Hier kommt der knifflige Teil. Wenn wir das Endergebnis betrachten (die Antwort des Roboters), können wir nicht erkennen, wo das „Wer" aufhört und das „Was" beginnt. Es ist wie ein gemischter Smoothie zu sehen; man weiß, dass es Obst und Joghurt sind, aber man kann sie nicht trennen, sobald sie gemischt sind. Das Paper nennt dies die Abduktion–Deduktion-Verstrickung.

Normalerweise versuchen Forscher, dieses Gemisch zu zerstören, indem sie davon ausgehen, dass der „Wer"-Teil sich nie ändert. Doch die Autoren sagen: Zerstören Sie es nicht. Nutzen Sie es.

Die Lösung: Die „Repräsentations-Transplantation"

Die Autoren schlagen einen cleveren Trick vor, der Repräsentations-Transplantation genannt wird. Stellen Sie sich das innere Gehirn des Modells als eine Karte mit zwei distincten Zonen vor:

Zone A (Abduktion): Wo das Modell den Kontext errät (z. B. „Ist dies ein Regelbefolger?").
Zone B (Deduktion): Wo das Modell die Regeln anwendet, um eine Antwort zu erhalten (z. B. „Wenn Regelbefolger, dann Nein sagen").

Die Autoren gehen davon aus, dass Zone B (Deduktion) universell ist. Die Logik von „Wenn X, dann Y" ändert sich nicht nur deshalb, weil sich die Population ändert. Allerdings ändert sich Zone A (Abduktion). In einer neuen Stadt könnte die Mischung der Menschen anders sein, sodass das Modell seine Vermutung darüber aktualisieren muss, wer die Frage stellt.

Der Transplantations-Vorgang:
Stellen Sie sich vor, Sie haben einen Roboter, der in New York trainiert wurde (Quelle). Sie wollen, dass er in Tokio funktioniert (Ziel).

Sie nehmen das „Gehirn" des Roboters (seine interne Repräsentation der Daten).
Sie transplantieren chirurgisch den Teil „Kontext-Raten" (Zone A) von der New Yorker Version auf die Tokioter Version.
Sie lassen den „Logik-Motor" (Zone B) genau so, wie er ist.

Dies ermöglicht es dem Modell, sich an die Gewohnheiten der neuen Population anzupassen, ohne die universelle Logik zu vergessen, die es gelernt hat.

Das Spiel: Lerner vs. Gegner

Wie finden wir die perfekte Transplantation? Die Autoren verwenden ein Spiel namens Causal Robust Optimization (CRO).

Der Lerner: Versucht, den besten Roboter zu bauen.
Der Gegner: Versucht, den Roboter zu brechen. Der Gegner erstellt „falsche" neue Welten (Zielverteilungen), indem er verschiedene „Kontext-Ratereien" (Abduktion) mit der universellen Logik (Deduktion) mischt und kombiniert.

Der Gegner fragt: „Wenn ich die Population so ändere, dass 90 % Regelbefolger sind, wird Ihr Roboter dann immer noch funktionieren?"
Der Lerner muss einen Roboter bauen, der den Worst-Case-Szenarien des Gegners standhält. Durch das Spielen dieses Spiels findet der Lerner schließlich ein Modell, das robust genug ist, um jede plausible neue Welt zu bewältigen.

Die Ergebnisse: Wo es glänzte

Das Paper testete dies an drei Arten von Herausforderungen:

Der „Falle"-Test (Colored MNIST):
- Szenario: Ein Modell wird trainiert, Ziffern (0–9) zu erkennen. In den Trainingsdaten sind rote Ziffern immer „gerade" und grüne immer „ungerade". In den Testdaten wird diese Regel umgekehrt (rot ist nun „ungerade").
- Ergebnis: Standardmodelle scheitern kläglich (mit ca. 10 % Genauigkeit), weil sie nur den Farbtick auswendig gelernt haben. Die neue Methode (CRO) erkannte, dass die Farbe eine „Kontext-Raterei" (Abduktion) und die Form die „Logik" (Deduktion) war. Sie ignorierte den Farbtick und erreichte 76 % Genauigkeit, während alle anderen zusammenbrachen.
Echte Fotos (PACS und OfficeHome):
- Szenario: Objekte in Fotos, Cartoons, Skizzen und Gemälden erkennen.
- Ergebnis: Die Methode war mit den besten bestehenden Werkzeugen konkurrenzfähig. Sie gewann nicht immer, hielt aber stand und bewies, dass die Methode auch dann sehr stark ist, wenn der „Logik"-Teil in der realen Welt nicht perfekt stabil ist.

Der Haken (Einschränkungen)

Die Methode beruht auf einigen Annahmen:

Die „Logik" muss gleich bleiben: Wenn sich die Regeln der Welt vollständig ändern (nicht nur, wer fragt, sondern wie die Antwort bestimmt wird), könnte die Methode Schwierigkeiten haben.
Die „Karte" muss existieren: Die Mathematik geht davon aus, dass es einen Weg gibt, den „Kontext"-Teil auszutauschen, ohne den „Logik"-Teil zu zerstören. Die Autoren beweisen dies mathematisch, aber in unordentlichen realen Daten ist es eine Näherung.

Zusammenfassung

Das Paper sagt: Anstatt zu versuchen, ein Modell zu zwingen, die Unterschiede zwischen Trainings- und Testdaten zu ignorieren, sollten wir zugeben, dass sich der Kontext ändert, während die Logik gleich bleibt. Indem wir eine „chirurgische Transplantation" verwenden, um den kontext-ratenden Teil des Modells auszutauschen, während der Logik-Motor intakt bleibt, und das Modell dann trainieren, um ein „Worst-Case"-Spiel zu überstehen, können wir KI bauen, die sich viel besser auf neue, ungesichtete Situationen generalisiert.

Technische Zusammenfassung: Abduktions–Deduktions-Verstrickung: Domänengeneralisierung durch Repräsentationstransplantationen

Problemstellung

Domänengeneralisierung (DG) befasst sich mit dem Versagen von Vorhersagemodellen, die auf einer Quellverteilung trainiert wurden, sich auf eine ungesehene Zielverteilung zu verallgemeinern. Standardmäßige kausale Ansätze stützen sich häufig auf starke strukturelle Annahmen, wie etwa die Existenz einer invariante Merkmalsuntermenge oder das Fehlen unbeobachteter Confounder, um invariante Prädiktoren zu identifizieren. Empirische Benchmarks (z. B. DomainBed) deuten jedoch darauf hin, dass bestehende Methoden oft versagen, die Standard-Empirische-Risiko-Minimierung (ERM) zu übertreffen, teilweise aufgrund einer Diskrepanz zwischen angenommenen Strukturen und den Erfordernissen der realen Weltgeneralisierung.

Die in dieser Arbeit identifizierte Kernherausforderung ist die Abduktions–Deduktions-Verstrickung. Jede Vorhersageregel $P(Y|X)$ kann in einen Abduktionsschritt (Rückschluss auf unbeobachtete Variablen $\tilde{U}$ , wie z. B. Confounder, aus dem beobachteten $X$ ) und einen Deduktionsschritt (Vorhersage von $Y$ gegeben $X$ und $\tilde{U}$ ) faktorisiert werden. Während die gemeinsame Vorhersage aus den Daten identifizierbar ist, sind die einzelnen Abduktions- und Deduktionsabbildungen nicht identifizierbar; sie sind verstrickt, da ihr Produkt gleich der beobachteten Vorhersageregel sein muss. Traditionelle DG-Methoden versuchen oft, diese Verstrickung zu eliminieren, indem sie Invarianz auf beide Abbildungen erzwingen oder eine Teilmenge von Merkmalen finden, bei der beide invariant sind. Diese Arbeit argumentiert, dass eine solche strikte Invarianz oft unnötig ist und dass die Verstrickung selbst genutzt werden kann.

Methodik

1. Theoretischer Rahmen: Abduktions–Deduktions-Faktorisierung

Die Autoren schlagen eine strukturelle Annahme vor, bei der die Deduktionsabbildung (der kausale Mechanismus, der das Label $Y$ aus $X$ und dem unbeobachteten $\tilde{U}$ generiert) über Domänen hinweg invariant ist, während die Abduktionsabbildung (die Verteilung von $\tilde{U}$ gegeben $X$ ) variiert.

Faktorisierung: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$ .
Parametrisierung: Die Autoren gehen von einer eingefrorenen, vortrainierten Repräsentation $\phi(X)$ $ϕ (X)$ (z. B. aus einem Foundation-Modell) aus. Sie parametrisieren die Abduktionsabbildung als Softmax-linearen Ausleser und die Deduktionsabbildung als Sigmoid-linearen Ausleser von $\phi(X)$ $ϕ (X)$ .
- Abduktion: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
- Deduktion: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
  Hier sind $A_s$ domänenspezifische Parameter und $D$ ein gemeinsamer, invarianter Parameter.

2. Repräsentationstransplantationen

Um die Nicht-Identifizierbarkeit der verstrickten Abbildungen zu bewältigen, führen die Autoren Repräsentationstransplantationen ein.

Transplantationsbasis ( $L$ ): Ein linearer Operator $L$ wird so definiert, dass er die Abduktionsparameter linksinversiert ( $A_s^\top L = I$ ) und im Nullraum des Deduktionsparameters liegt ( $D^\top L = 0$ ).
Transplantationsoperator ( $T_{s \to s'}$ ): Dieser Operator tauscht die Abduktionskomponente einer Repräsentation von der Domäne $s$ $s$ in die Domäne $s'$ $s^{'}$ aus, während die Deduktionskomponente erhalten bleibt.
- $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
Implikation: Dies ermöglicht die Konstruktion einer Familie von plausiblen Zielverteilungen. Durch das Transplantieren von Quellrepräsentationen in einen Zielraum können Kandidatenzielverteilungen generiert werden, die mit den Quelldaten und der Annahme einer invarianten Deduktion konsistent sind.

3. Kausale Robuste Optimierung (CRO)

Die Autoren formulieren DG als ein Lernender–Gegner-Spiel, genannt Kausale Robuste Optimierung (CRO):

Gegner: Gegeben einen aktuellen Lernenden $h$ , sucht der Gegner nach der „schlimmstmöglichen" plausiblen Zielverteilung (parametrisiert durch die Transplantationsbasis und Abduktionsparameter), die das Risiko von $h$ maximiert. Dies umfasst die Optimierung der Transplantationsparameter unter Einhaltung von Anpassungsbeschränkungen für die Quelldaten und einer Abschlussstrafe (Hausdorff-Distanz), die sicherstellt, dass die transplantierten Repräsentationen innerhalb des Trägers der Quelldaten bleiben.
Lernender: Der Lernende aktualisiert $h$ , um das maximale Risiko über die bisher generierte Sammlung adversarischer Zielverteilungen zu minimieren.
Konvergenz: Das Spiel endet, wenn das Worst-Case-Risiko konvergiert. Unter idealen Annahmen (unendliche Daten, globale Optima) ist die Lösung über die Menge der strukturell plausiblen Zielverteilungen minimax-optimal.

Hauptbeiträge

Neudefinition der Verstrickung: Anstatt die Nicht-Identifizierbarkeit von Abduktion und Deduktion als ein Problem zu betrachten, das durch Beseitigung der Verstrickung gelöst werden muss, schlägt die Arbeit vor, die Verstrickung zu parametrisieren. Dies ermöglicht eine strukturierte Suche über plausible Zielverteilungen, ohne eine strikte Invarianz der Abduktionsabbildung zu erfordern.
Repräsentationstransplantation: Die Einführung eines rangarmen linearen Operators auf eingefrorenen Repräsentationen, der den Abduktionsinhalt manipuliert, während der Deduktionsinhalt erhalten bleibt. Dies bietet einen konkreten Mechanismus für eine teilweise Transportierbarkeit.
Invariante Repräsentationen als Konsequenz: Die Arbeit zeigt, dass invariante Repräsentationen (ein häufiges Ziel in der DG) als strukturelle Konsequenz der Abduktions–Deduktions-Parametrisierung und der Existenz einer Transplantationsbasis entstehen und nicht als primäres Lernziel.
CRO-Algorithmus: Ein praktischer Algorithmus, der die Min-Max-Optimierung über die durch Transplantationsparameterisierte Menge von Verteilungen implementiert und unter spezifischen strukturellen Annahmen eine minimax-optimale Garantie bietet.

Experimentelle Ergebnisse

Die Methode wurde auf synthetischen und realweltlichen Benchmarks unter Verwendung des DomainBed-Protokolls (Leave-One-Environment-Out, Validierung über Trainingsdomänen) evaluiert.

Colored MNIST (Synthetisch): In der diagnostischen Zelle, in der die Korrelation zwischen Farbe und Label mit der Quelle anti-ausgerichtet ist ( $\rho = -0.9$ ), kollabieren Standard-Baselines (ERM, IRM, GroupDRO usw.) auf eine Genauigkeit von $\approx 10\%$ (schlechter als Zufall). CRO erreicht 76% Genauigkeit und identifiziert erfolgreich das invariante Formmerkmal, indem es das spuriose Farbmerkmal in den Abduktionsunterraum und die Form in den Deduktionsunterraum trennt.
PACS (Realwelt): Auf diesem Objekterkennungs-Benchmark, bei dem die Annahme der Deduktionsinvarianz nur annähernd gilt (aufgrund von Stilverschiebungen), schneidet CRO wettbewerbsfähig ab (84,6% Durchschnitt), entspricht der breiten Baseline-Cluster, führt aber nicht die Top-Performer (SagNet, CORAL). Die Autoren führen dies auf die teilweise Verletzung der Deduktionsinvarianz-Annahme zurück.
OfficeHome (Realwelt): CRO führt die Durchschnittsleistung an (69,3%) und belegt in drei von vier Leave-One-Domain-Out-Zellen den ersten Platz. Die Autoren vermuten, dass die 65-Klassen-Struktur es dem Abduktionssignal erlaubt, reichhaltig genug für die Gegnersuche zu sein, ohne eine Überparametrisierung zu verursachen.
Strukturelle Validierung: Ein synthetischer Datensatz zu „moralischen Fragen" wurde konstruiert, um die strukturellen Prämissen zu überprüfen. Diagnostiken bestätigten, dass die Abduktions–Deduktions-Faktorisierung empirisch schließt, Abduktionsabbildungen über Domänen hinweg unterschiedlich sind, Deduktionsinvarianz gilt und eine gültige Transplantationsbasis existiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Repräsentationstransplantation eine kleine, strukturierte Parametrisierung der in der kausalen Inferenz inhärenten Abduktions–Deduktions-Nicht-Identifizierbarkeit bietet. Indem die Verstrickung angenommen statt eliminiert wird, erreicht der vorgeschlagene CRO-Algorithmus ein minimax-optimales Worst-Case-Zielrisiko über eine Menge kausal plausibler Zielverteilungen.

Die Bedeutung liegt in:

Theoretische Strenge: Bereitstellung einer formalen Garantie für Minimax-Optimalität unter spezifischen strukturellen Annahmen (invariante Deduktion, Abschluss unter Transplantation), wo frühere Methoden oft solche Garantien vermissen lassen oder auf nicht überprüfbaren Annahmen beruhen.
Praktische Wirksamkeit: Demonstration, dass dieser Ansatz invariante Merkmale in „Shortcut-Learning"-Szenarien (Colored MNIST) wiederherstellen kann, in denen andere kausale DG-Methoden versagen, während er in komplexen realweltlichen Umgebungen wettbewerbsfähig bleibt.
Neue Perspektive: Verschiebung des Fokus von der direkten Suche nach invarianten Merkmalen hin zur Parametrisierung des Raums gültiger kausaler Mechanismen (Abduktions–Deduktions-Paare), die mit den beobachteten Daten vereinbar sind.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass die Abschlussannahme (dass transplantierte Repräsentationen Urbilder in der Zieldomäne haben) strukturell ist und ohne Ziel-Daten empirisch nicht überprüfbar ist. Sie erkennen zudem an, dass die Minimax-Garantie auf idealisierten Bedingungen (unendliche Daten, globale Optimierung) beruht und dass die Leistung bei Lockerung dieser Bedingungen zwar linear, aber graceful abnimmt.