🤖 machine learning

Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization

Dieser Artikel argumentiert, dass die Generalisierung außerhalb der Verteilung in neuronalen Netzen von einer durch Feature-Engineering und strukturelle Festlegungen eingeführten „Identifizierbarkeitsverzerrung" abhängt, die die Nicht-Identifizierbarkeit von datengenerierenden Prozessen allein aus Daten innerhalb der Verteilung auflöst und dadurch eine erfolgreiche Extrapolation ermöglicht, wenn die gewählten Repräsentationen die zugrunde liegende kausale Struktur korrekt erfassen.

Ursprüngliche Autoren: Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

Veröffentlicht 2026-05-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das Problem „Karte versus Territorium"

Stellen Sie sich vor, Sie sind ein Reiseleiter, der einem Roboter beibringen soll, wie man eine Stadt navigiert. Sie zeigen dem Roboter nur das Viertel, in dem Sie wohnen (die Trainingsdaten). Sie bitten den Roboter, vorherzusagen, wie die Stadt in einem völlig anderen Bezirk aussieht, den er noch nie besucht hat (den Out-of-Distribution- oder OOD-Bereich).

Das Paper argumentiert, dass neuronale Netze schlecht darin sind, das Unbekannte zu erraten, es sei denn, Sie geben ihnen die richtige „Karte", bevor sie mit dem Lernen beginnen.

Wenn Sie dem Roboter nur rohe Straßennamen zeigen, könnte er raten, dass der neue Bezirk wie ein riesiger, glatter Hügel aussieht, weil dies die einfachste Form ist, die er basierend auf Ihrem Viertel zeichnen kann. Aber wenn der neue Bezirk tatsächlich ein Gebirge ist, wird der Roboter kläglich versagen.

Wenn Sie dem Roboter jedoch eine Karte geben, die die Form des Geländes hervorhebt (wie eine topografische Karte), kann er den neuen Bezirk perfekt herausfinden, selbst wenn er noch nie dort war.

Das Kernproblem: Das „unendliche Ratespiel"

Die Autoren beweisen eine mathematische Tatsache: Aus einem einzigen Fenster von Daten können Sie die Zukunft nicht kennen.

Stellen Sie sich zwei verschiedene Geschichten darüber vor, wie die Welt funktioniert:

Geschichte A: Die Welt ist ein sanfter, endloser Hügel.
Geschichte B: Die Welt ist eine wellige Ozeanfläche, die plötzlich in eine zerklüftete Klippe übergeht.

Wenn Sie nur einen winzigen Landstreifen betrachten (Ihre Trainingsdaten), könnten beide Geschichten exakt gleich aussehen. Der Hügel und die Welle sehen in diesem kleinen Fleck identisch aus. Weil sie hier gleich aussehen, kann der Roboter nicht sagen, welche Geschichte wahr ist. Er wählt eine aus, und wenn er die falsche wählt, wird er abstürzen, wenn er auf die Klippe trifft.

Das Paper nennt dies observative Äquivalenz. Ohne zusätzliche Hilfe können die Daten allein dem Roboter nicht sagen, welche Geschichte real ist.

Die Lösung: Das „strukturelle Commitment"

Wie lösen wir dieses Problem? Das Paper sagt, wir müssen ein strukturelles Commitment eingehen. Das ist eine elegante Art zu sagen: „Wir werden den Roboter zwingen, eine spezifische Form für die Welt anzunehmen."

Dieses Commitment besteht aus drei Teilen:

Die Merkmalskarte ( $\phi$ ): Wie wir rohe Daten in eine neue Sprache übersetzen (z. B. „Zeit" in „Sinuswellen" verwandeln).
Die Label-Karte ( $\psi$ ): Wie wir die Antworten übersetzen (z. B. „Bevölkerung" in „Logarithmen" verwandeln).
Die Modellklasse ( $M$ ): Die Art von Gehirn, die der Roboter verwendet (z. B. ein einfacher linearer Rechner versus ein komplexer tiefer Denker).

Die magische Analogie: Der Kreistrick
Das Paper verwendet ein klassisches Beispiel: die Vorhersage einer Sinuswelle ( $\sin(x)$ ).

Der falsche Weg: Wenn Sie dem Roboter rohe Zahlen ( $x$ ) zuführen, denkt er, die Welt sei eine gerade Linie oder eine Polynomkurve. Wenn er versucht, die Zukunft vorherzusagen, geht er einfach unendlich weiter nach oben oder unten. Er scheitert.
Der richtige Weg: Wenn Sie dem Roboter eine „Fourier-Karte" geben (die Umwandlung von $x$ $x$ in ein Koordinatenpaar: $\sin(x)$ $sin (x)$ und $\cos(x)$ $cos (x)$ ), sagen Sie dem Roboter im Wesentlichen: „Die Welt ist ein Kreis."
- In dieser neuen Sprache sind die Trainingsdaten und die zukünftigen Daten alle nur Punkte auf dem selben Kreis.
- Die Vorhersage der Zukunft ist nicht länger „das Erraten des Unbekannten"; es ist einfach das Verbinden der Punkte auf einem Kreis (Interpolation).
- Der Roboter gelingt dies perfekt.

Was die Experimente zeigten

Die Autoren testeten diese Idee in drei sehr unterschiedlichen realen Szenarien, und das Ergebnis war immer dasselbe: Die richtige Karte gewinnt, die falsche Karte scheitert.

Chemie (Massenwirkungsgesetz-Kinetik):
- Die Aufgabe: Vorhersage, wie Chemikalien sich mischen.
- Das Ergebnis: Wenn Sie rohe Zahlen verwenden, geht die Vorhersage außerhalb der Trainingszone völlig außer Kontrolle. Wenn Sie eine „bilineare Karte" verwenden (eine spezifische Art, die chemischen Zahlen zu kombinieren), sagt der Roboter die Zukunft perfekt voraus.
Physik (Keplers Gesetze):
- Die Aufgabe: Vorhersage, wie lange ein Planet benötigt, um einen Stern zu umkreisen, basierend auf seiner Entfernung.
- Das Ergebnis: Wenn Sie dem Roboter rohe Entfernung und Masse zuführen, scheitert er daran, ferne Planeten vorherzusagen. Wenn Sie ihm sagen, Logarithmen zu verwenden (eine spezifische mathematische Transformation), lernt er sofort das Gravitationsgesetz und sagt neue Planeten perfekt voraus.
Biologie (DNA-Erkennung):
- Die Aufgabe: Identifizierung kodierender DNA in verschiedenen Arten (z. B. Hefe versus Bakterien).
- Das Ergebnis: Standard-KI-Modelle scheiterten, wenn sie neue Arten betrachteten. Aber als die Forscher „biologische Merkmale" hinzufügten (z. B. Zählen, wie oft die DNA stoppt oder sich alle 3 Buchstaben wiederholt), funktionierte das Modell über alle Arten hinweg, sogar über solche, die es noch nie gesehen hatte.

Der „Foundation Model"-Twist

Das Paper untersuchte auch riesige, vortrainierte KI-Modelle (wie TimesFM oder TabPFN). Dies sind Modelle, die bereits viel gelernt haben und nicht neu trainiert werden können.

Die Erkenntnis: Selbst diese intelligenten Modelle scheitern, wenn Sie ihnen die falsche „Sprache" zuführen.
Die Lösung: Wenn Sie einfach das Eingabeformat ändern (z. B. dem Modell anstelle roher Zahlen das „Log" der Zahlen geben), wird das eingefrorene Modell plötzlich ein Genie bei der Extrapolation. Sie haben das Gehirn nicht verändert; Sie haben nur die Brille geändert, die es trug.

Die drei Regeln für den Erfolg

Das Paper kommt zu dem Schluss, dass drei Dinge gleichzeitig passieren müssen, damit ein neuronales Netz extrapolieren (das Unbekannte vorhersagen) kann:

Die richtige Karte: Sie müssen die Daten in ein Format transformieren, das der wahren Form der Welt entspricht (z. B. Kreise für Wellen, Logarithmen für Wachstum).
Das richtige Gehirn: Das Modell muss in der Lage sein, diese Form zu verstehen (z. B. funktioniert ein lineares Modell für Kreise, wenn die Karte richtig ist; ein komplexes tiefes Netz könnte scheitern, wenn es versucht, eine einfache Linie zu überkomplizieren).
Ausreichende Abdeckung: Sie benötigen genügend Datenpunkte in Ihrem Trainingsfenster, um die Karte zu „kacheln". Wenn die Karte ein Kreis ist, müssen Sie genug vom Kreis sehen, um zu wissen, dass es ein Kreis ist und nicht nur eine gerade Linie.

Das Fazit

Feature Engineering ist nicht tot.

Viele dachten, dass „Big Data" und „riesige Modelle" bedeuteten, dass wir keine Merkmale mehr manuell entwerfen oder Daten transformieren müssten. Dieses Paper sagt: Nein.

Deep Learning ist erstaunlich darin, die Lücken innerhalb der Daten, die Sie haben, zu füllen. Aber um zu erraten, was außerhalb der Daten passiert, müssen Sie dem Modell explizit sagen, wie die Welt aussieht. Sie müssen das „strukturelle Commitment" bereitstellen. Wenn Sie dies nicht tun, rät das Modell nur, und es wird höchstwahrscheinlich falsch raten.

Kurz gesagt: Sie können einem Roboter nicht beibringen, eine neue Stadt zu navigieren, indem Sie ihm nur ein Foto Ihrer Straße zeigen. Sie müssen ihm eine Karte geben, die die Geometrie der Stadt erklärt.

Technische Zusammenfassung: Feature Engineering als Identifizierbarkeitsverzerrung für OOD-Verallgemeinerung

1. Problemstellung

Tiefe neuronale Netze sind im Bereich der Interpolation innerhalb des Supports ihrer Trainingsdaten hervorragend, versagen jedoch häufig bei der Extrapolation außerhalb der Verteilung (OOD). Während der Satz der universellen Approximation Interpolationsfähigkeiten garantiert, bleibt mathematisch garantierte Extrapolation ein ungelöstes Problem.

Das in dieser Arbeit identifizierte Kernproblem ist die observatorische Äquivalenz. Auf jedem endlichen Trainingsfenster $W$ können unendlich viele datengenerierende Prozesse (DGPs) $\epsilon$ -observatorisch äquivalent (innerhalb einer Toleranz $\epsilon$ ununterscheidbar) sein, divergieren jedoch beliebig außerhalb von $W$ . Folglich kann kein Kriterium innerhalb der Verteilung allein (wie Trainingsverlust, Kreuzvalidierung oder zurückgehaltener Verlust auf $W$ ) den wahren zugrundeliegenden Prozess zuverlässig von diesen störenden Hypothesen unterscheiden. Die Arbeit argumentiert, dass OOD-Extrapolation allein aus Daten nicht identifizierbar ist; die Wahl der Repräsentation und der Modellklasse stellt eine „strukturelle Verpflichtung" dar, die diese Mehrdeutigkeit auflöst.

2. Methodik und theoretischer Rahmen

2.1 Die DGP-Verpflichtung $(\phi, \psi, M)$

Die Autoren formalisieren den Lernprozess als eine gemeinsame Verpflichtung, die drei Komponenten umfasst:

Feature-Map ( $\phi$ ): Transformiert die Eingabe $x$ in einen Repräsentationsraum $Z_x$ .
Label-Map ( $\psi$ ): Transformiert das Ziel $y$ in $Z_y$ .
Modellklasse ( $M$ ): Die Hypothesenklasse, die auf den transformierten Räumen operiert.

Die Arbeit postuliert, dass das Tripel $(\phi, \psi, M)$ den angenommenen DGP diktiert. Wenn diese Verpflichtung mit dem wahren DGP übereinstimmt, sodass das Ziel im transformierten Raum linear ausdrückbar (oder anderweitig einfach) wird, wird OOD-Extrapolation zu Interpolation.

2.2 Observatorische Äquivalenz und Identifizierbarkeit

Proposition 1 stellt fest, dass die Minimierung des empirischen Risikos (ERM) blind gegenüber observatorisch äquivalenten Prozessen ist. Für jedes endliche Fenster $W$ und jedes Rauschniveau $\sigma$ , wenn zwei Prozesse $P_1$ und $P_2$ innerhalb einer Toleranz $\epsilon$ auf $W$ übereinstimmen, kann kein auf $W$ basierender Test sie zuverlässig unterscheiden, wenn $\epsilon\sqrt{n} \ll \sigma$ . Dies impliziert, dass Standardauswahlkriterien (wie Kreuzvalidierung) die Entscheidung zwischen konkurrierenden DGPs, die auf dem Trainingsset observatorisch äquivalent sind, nicht treffen können.

Proposition 2 führt eine Heuristik zur Auflösung dieser Entscheidung ein: Daten nahe der Grenze. Wenn sich zwei Prozesse außerhalb des Trainingsfensters mit einer Rate $r$ divergieren, wird ein Validierungssegment der Breite $\delta \ge \epsilon/r$ , das unmittelbar an die Trainingsgrenze angrenzt, die Übereinstimmungszone verlassen. Die Bewertung von Kandidaten auf diesem Segment nahe der Grenze ermöglicht die Auswahl der korrekten strukturellen Verpflichtung.

2.3 Konstruktive Existenz

Die Arbeit zeigt, dass, wenn der wahre DGP innerhalb der Modellklasse $M$ nach Transformation realisierbar ist (d. h. $g^* \circ \phi = f$ für alle $X$ , nicht nur für $W$ ), und das Modell aus endlichen Stichproben identifizierbar ist, der OOD-Fehler verschwindet ( $\epsilon_{OOD} = 0$ ). Dies wird gezeigt für:

Sinusfunktionen: Die Verwendung von Fourier-Koordinaten $\phi(x) = (\sin x, \cos x)$ verwandelt periodische Extrapolation in Interpolation auf einem Kreis $S^1$ .
Potenzgesetze: Verwendung von Log-Log-Transformationen.
Exponentialfunktionen: Verwendung von Log-y-Transformationen.

3. Hauptbeiträge

Formalisierung der observatorischen Äquivalenz: Die Arbeit liefert eine theoretische untere Schranke für die Fähigkeit jedes Tests innerhalb der Verteilung, zwischen observatorisch äquivalenten Prozessen zu unterscheiden, und beweist, dass OOD-Risiko ohne strukturelle Verpflichtungen nicht identifizierbar ist.
Das DGP-Verpflichtungs-Framework: Es identifiziert $(\phi, \psi, M)$ als die einzige Quelle struktureller Information, die ein Modellierer bereitstellen kann, um OOD-Mehrdeutigkeiten aufzulösen. Es wird argumentiert, dass „Feature Engineering" kein Abweichen vom Erfolg des Deep Learnings ist, sondern die explizite Einbringung der notwendigen strukturellen Verpflichtung.
Kontrollierte Experimente mit Minimalpaaren: Die Autoren isolieren Variablen, um zu zeigen, dass identische Architekturen mit identischem In-Distribution (ID)-Verlust sich allein basierend auf der Feature-Map $\phi$ um Größenordnungen (z. B. $\sim520\times$ ) in der OOD-Leistung unterscheiden können.
Cross-Domain-Validierung: Der Mechanismus wird über drei Naturwissenschaftsdomänen hinweg validiert:
- Chemie: Massenwirkungsgesetz-Kinetik (MAK), bei dem bilineare Features die Dynamiken linearisieren.
- Physik: Keplers drittes Gesetz zur Exoplaneten-Vorhersage, bei dem Log-Transformationen physikalische Exponenten wiederherstellen.
- Biologie: Codierungs-DNA-Erkennung über Arten hinweg, bei der genetisch-code-invariante Features einen Zero-Shot-Transfer über Organismen mit varying GC-Gehalt ermöglichen.
Artefakte für Praktiker:
- Validierung nahe der Grenze: Eine Auswahlheuristik, die der Kreuzvalidierung bei der Wahl von Feature-Maps überlegen ist.
- $\delta_{OOD}$ -Diagnose: Eine Metrik basierend auf SINDy (Sparse Identification of Nonlinear Dynamics), die den Residuum einer spärlichen Anpassung an OOD-Daten mit der Korrektheit der Feature-Map korreliert.
- Architektur-Invarianz-Check: Eine Studie, die zeigt, dass die OOD-Garantie zur Feature-Map gehört (z. B. Exakte Fourier-Positions-Encodierung) und nicht zum Backbone (Transformer, Mamba oder S4D).

4. Experimentelle Ergebnisse

4.1 Toy-Experimente (Sin(x) und Potenzgesetze)

Sin(x): Ein MLP, das auf rohem $x$ trainiert wurde, extrapoliert als glatte, sich nivellierende Kurve mit hohem OOD-Fehler ( $\sim156\%$ ). Ein identisches MLP, das auf Fourier-Features $(\sin x, \cos x)$ trainiert wurde, erreicht einen nahezu null OOD-Fehler ( $\sim0,3\%$ ). Foundation-Modelle (TimesFM, TabPFN) zeigen das gleiche Verhalten: Sie sind erfolgreich, wenn das Eingabeformat implizit die korrekte Feature-Map bereitstellt, und versagen andernfalls.
Potenzgesetz vs. Exponentialfunktion: In einem Setting, in dem $x^2$ und $e^{\alpha(x-1)}$ auf $[1, 2]$ observatorisch äquivalent sind, erreicht nur die korrekte log-transformierte Feature-Map in Kombination mit einem linearen Modell (OLS) einen niedrigen OOD-Fehler. Falsche Verpflichtungen (z. B. Log-Log auf ein exponentielles Ziel) führen zu katastrophalem Versagen ( $>9.999\%$ Fehler).

4.2 Naturwissenschaftliche Domänen

Chemie (MAK): Bilineare Features ermöglichen es OLS, die exakten governing equations mit $0,0\%$ OOD-Fehler wiederherzustellen, während rohe MLPs versagen ( $24,4\%$ ).
Physik (Kepler): Die Verwendung von $(\log a, \log M_{star})$ mit OLS stellt das physikalische Gesetz mit $3,8\%$ OOD-Fehler wieder her. Rohe MLPs overfitten die ID-Daten ( $6,9\%$ ), versagen aber bei OOD ( $79,0\%$ ).
Biologie (CDS): Standard-Positions-Encodierungen (gelernte APE, sinusförmig) versagen bei der Verallgemeinerung über Arten mit unterschiedlichem GC-Gehalt hinweg (Absinken auf Zufallswerte). Feature-Maps, die die Codon-Periodizität und die Aminosäurezusammensetzung kodieren, ermöglichen Zero-Shot-Transfer mit AUROC-Werten bis zu $0,96$.

4.3 Architektur-Invarianz (Transformer, Mamba, S4D)

In einer periodischen Sequenzaufgabe erreicht die Exakte Fourier-Positions-Encodierung bei allen drei Architekturen und verschiedenen Periodenlängen einen nahezu null OOD-Fehler ( $\le 0,2\%$ ). Im Gegensatz dazu versagen Standard-Sinus-, RoPE- und gelernte Positions-Encodierungen ( $>90\%$ Fehler). Dies bestätigt, dass die OOD-Garantie eine Eigenschaft der Feature-Map und nicht der Architektur ist.

4.4 Grenzen und notwendige Bedingungen

Unter Verwendung eines periodischen $d$ -Torus-Benchmarks identifiziert die Arbeit drei gemeinsam notwendige Bedingungen für OOD-Verallgemeinerung:

Repräsentationsausrichtung: Die Feature-Map muss mit dem DGP übereinstimmen.
Kapazität der Modellklasse: Das Modell muss in der Lage sein, die Interaktionsordnung des Ziels im transformierten Raum auszudrücken.
Abdeckung: Die Trainingsdaten müssen den relevanten Repräsentationsraum ausreichend abdecken (kritische Abdeckung $M_{crit} \approx 4$ ).
Die Studie zeigt, dass selbst bei einer korrekten Feature-Map ein OOD-Versagen auftritt, wenn die Modellklasse nicht über ausreichende Kapazität verfügt oder die Stichprobenabdeckung unzureichend ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, das „Wann und Warum" des Versagens neuronaler Netze bei der Extrapolation zu lösen. Sie argumentiert, dass:

OOD-Risiko aus Daten auf einem einzelnen Fenster nicht identifizierbar ist; die strukturelle Verpflichtung $(\phi, \psi, M)$ ist der einzige Mechanismus, um dies aufzulösen.
Feature Engineering nicht obsolet ist. Während Deep Learning Features innerhalb der Verteilung lernen kann, sind explizite strukturelle Verpflichtungen für Extrapolation erforderlich.
Pretraining das Problem nicht löst. Vortrainierte Modelle erben das Verpflichtungsproblem über ihr Eingabeformat; sie sind nur erfolgreich, wenn der Benutzer die korrekte Transformation bereitstellt.
Korrekte Features notwendig, aber nicht hinreichend sind. Die Modellklasse muss das Ziel ausdrücken können, und die Daten müssen den Repräsentationsraum abdecken.

Die Autoren schließen, dass die „Rashomon-Menge" (die Menge der Modelle, die auf Trainingsdaten übereinstimmen, aber außerhalb der Verteilung disagree) nicht allein durch Daten, sondern durch die Wahl der strukturellen Verpflichtung des Modellierers navigiert wird. Die Arbeit stellt Feature Engineering als die explizite Einbringung der für die Identifizierbarkeit der Extrapolation erforderlichen DGP-Verpflichtung neu dar.