🤖 machine learning

The Propagation Field: A Geometric Substrate Theory of Deep Learning

Dieser Artikel schlägt ein „Propagation Field"-Rahmenwerk vor, das neuronale Netze durch ihre internen geometrischen Trajektorien und Jacobischen Strukturen neu definiert, anstatt sie nur als Eingabe-Ausgabe-Mappings zu betrachten, und zeigt, dass die explizite Optimierung dieser Feldeigenschaften die Generalisierung, Robustheit und Leistung beim kontinuierlichen Lernen über das hinaus verbessert, was allein durch Endpunktverluste erreicht werden kann.

Ursprüngliche Autoren: Xingrui Gu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xingrui Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Es geht nicht nur um das Ziel

Stellen Sie sich vor, Sie unterrichten einen Schüler im Autofahren von Punkt A nach Punkt B.

Der alte Weg (Standard-Deep-Learning): Es interessiert Sie nur, ob der Schüler das richtige Ziel erreicht. Wenn er dort ankommt, geben Sie ihm eine Eins. Es ist Ihnen egal, ob er eine glatte Autobahn, eine holprige Schotterstraße genommen hat oder ob er vor dem endgültigen Halt im Kreis gefahren ist. Solange der „Endpunkt" korrekt ist, gilt das Training als erfolgreich.
Der neue Weg (Dieses Papier): Die Autoren argumentieren, dass wir auch die Reise selbst beachten sollten. Sie schlagen vor, dass Informationen innerhalb eines neuronalen Netzwerks nicht einfach vom Eingang zum Ausgang springen, sondern einen spezifischen „Pfad" oder ein „Feld" entlangreisen. Dieser Pfad hat eine Form, eine Geschwindigkeit und eine Richtung.

Das Papier legt nahe, dass zwei Netzwerke exakt dieselbe Antwort (denselben Endpunkt) erhalten können, aber völlig unterschiedliche und potenziell sehr unterschiedlich qualitative Reisen unternehmen, um dorthin zu gelangen.

Das Kernkonzept: Das „Propagation Field" (Ausbreitungsfeld)

Stellen Sie sich ein neuronales Netzwerk nicht als Blackbox vor, die Antworten ausspuckt, sondern als Landschaft oder ein Flusssystem.

Die Hidden States (Verborgene Zustände): Wenn Daten durch die Schichten des Netzwerks wandern, ist das wie ein Boot, das einen Fluss hinabfährt. Die „Hidden States" sind die Position des Bootes zu jedem Zeitpunkt.
Die Jacobischen: Diese sind wie die Strömung oder das Gefälle des Flusses an einem bestimmten Punkt. Sie sagen Ihnen, wie stark das Wasser (die Daten) beschleunigt, verlangsamt oder zusammengedrückt wird, während es fließt.
Das Feld: Die Kombination aus dem Weg des Bootes und den Strömungen des Flusses erzeugt ein „Propagation Field".

Die Autoren behaupten, dass das Standardtraining nur darauf achtet, wo das Boot ankommt. Es ignoriert, ob der Fluss glatt war, ob das Boot im Kreis gedreht hat oder ob die Strömung chaotisch war.

Wichtige Erkenntnisse (Die „Experimente")

1. Gleicher Endpunkt, unterschiedliche Reisen

Das Papier beweist, dass man zwei Modelle haben kann, die in ihrer Aufgabe perfekt sind (die richtige Antwort liefern), aber völlig unterschiedliche interne „Felder" aufweisen.

Analogie: Stellen Sie sich zwei Wanderer vor, die den Gipfel eines Berges erreichen. Wanderer A nahm einen direkten, glatten Pfad. Wanderer B nahm einen Weg, der wild hin und her zickzackte, eine Klippe hinabrutschte und wieder hinaufkletterte. Beide erreichten den Gipfel (gleiche „Endpunktnähe"), aber ihre Erfahrungen (das „Feld") waren Welten auseinander.
Das Ergebnis: Das Papier zeigt, dass das Standardtraining das Netzwerk nicht zwingt, den „glatten Pfad" zu nehmen. Es findet einfach irgendeinen Weg, der funktioniert.

2. Der „Teacher-Flow"-Test

Um dies zu beweisen, schufen die Forscher eine kontrollierte Umgebung (wie eine physikalische Simulation), in der sie den „wahren" Pfad kannten, den die Daten nehmen sollten.

Sie trainierten ein Modell nur darauf, die Antwort richtig zu haben.
Sie trainierten ein zweites Modell darauf, die Antwort richtig zu haben und den wahren Pfad zu befolgen.
Die Überraschung: Beide Modelle lieferten die richtige Antwort. Aber der interne Pfad des ersten Modells war chaotisch und falsch, während der Pfad des zweiten Modells perfekt war. Dies beweist, dass das Liefern der richtigen Antwort nicht bedeutet, dass das Netzwerk die richtigen „Verkehrsregeln" gelernt hat.

3. Warum ist die Reise wichtig? (Generalisierung)

Das Papier fragt: Hilft eine glatte Reise dem Netzwerk, neue Situationen zu bewältigen?

Die gute Nachricht: Bei einigen Aufgaben (wie beim Betrachten eines Bildes, bei dem Teile in unterschiedlicher Reihenfolge enthüllt werden) half es, das Netzwerk zu zwingen, einem konsistenten, glatten Pfad zu folgen, um besser mit neuen, ungesehenen Variationen umzugehen. Es machte das Netzwerk robuster.
Die schlechte Nachricht (Der Kollaps): Wenn Sie das Netzwerk dazu zwingen, zu konsistent zu sein, kann es kaputtgehen.
- Analogie: Stellen Sie sich einen Lehrer vor, der einem Schüler sagt: „Egal welche Frage Sie bekommen, Sie müssen in einer perfekt geraden Linie zur Antwort gehen." Der Schüler könnte einfach aufhören zu denken und auf alles dieselbe Antwort geben, nur um seine Linie gerade zu halten.
- Das Ergebnis: Das Papier fand heraus, dass, wenn man das „Feld" zu stark einschränkt, das Netzwerk zwar intern sehr konsistent werden kann, aber aufhört, die eigentliche Aufgabe zu lernen, was zu schrecklicher Leistung führt.

4. Vergessen (Kontinuierliches Lernen)

Wenn ein Netzwerk eine neue Aufgabe lernt, „vergisst" es oft die alte.

Die alte Sicht: Vergessen bedeutet, dass das Netzwerk die richtige Antwort für die alte Aufgabe nicht mehr geben kann.
Die neue Sicht: Das Papier schlägt vor, dass Vergessen auch auf der Ebene des „Feldes" stattfindet. Selbst wenn das Netzwerk die Antwort erinnert, könnte der interne „Fluss" umgeleitet oder ausgetrocknet sein.
Die Lösung: Sie fanden heraus, dass, wenn man eine Regel hinzufügt, um die „Form des Flusses" (den internen Pfad) beim Erlernen neuer Aufgaben zu bewahren, das Netzwerk die alten Aufgaben besser erinnert. Es wirkt wie eine Ergänzung zu bestehenden Speichertechniken und hilft dem Netzwerk, seine interne Struktur intakt zu halten.

Das Fazit

Das Papier stellt eine neue Art vor, auf KI zu blicken. Anstatt nur zu fragen: „Ist die Antwort richtig?", sollten wir auch fragen: „Ist der Pfad, den die Daten genommen haben, um dorthin zu gelangen, gesund und konsistent?"

Endpunkt-Supervision: „Haben Sie die richtige Antwort?" (Aktueller Standard)
Propagation Field Theory: „Haben Sie die richtige Antwort über eine stabile, logische Reise erhalten?" (Der neue Vorschlag)

Die Autoren schließen daraus, dass die „Qualität der Reise" eine messbare und trainierbare Eigenschaft ist. Indem wir auf die interne Geometrie des Netzwerks achten, können wir Modelle bauen, die robuster sind und weniger wahrscheinlich vergessen, aber wir müssen vorsichtig sein, die Reise nicht so streng vorzuschreiben, dass das Netzwerk aufhört, die Aufgabe insgesamt zu lernen.

Technische Zusammenfassung: Das Propagationsfeld: Eine geometrische Substrattheorie des Deep Learning

1. Problemstellung

Modernes Deep Learning behandelt neuronale Netze primär als Endpunkt-Funktionen, die Eingaben auf Ausgaben abbilden und über aufgaben spezifische Verlustfunktionen optimiert werden (LeCun et al., 2015). Obwohl dieser Ansatz erhebliche Erfolge erzielt hat, bleiben die internen Mechanismen der Informationspropagation weitgehend unverstanden. Das Standardtraining schränkt das Randverhalten (Eingabe-Ausgabe-Mapping) ein, lässt jedoch die Geometrie der schichtweisen Repräsentationen und der internen Zustandsbahnen unbestimmt. Diese Lücke zeigt sich in Problemen, die von der adversarialen Robustheit (Szegedy et al., 2013) und dem Lernen im Kontext (Brown et al., 2020) bis zum katastrophalen Vergessen beim kontinuierlichen Lernen (Kirkpatrick et al., 2017) reichen.

Das zentrale behandelte Problem besteht darin, dass die Endpunkt-Überwachung das interne Propagationsfeld nicht eindeutig identifiziert. Zwei Modelle können „endpunktäquivalent" sein (d. h. nahezu identische Aufgabenverluste erreichen), während sie völlig unterschiedliche interne geometrische Strukturen aufweisen, einschließlich Bahnen der verborgenen Zustände und lokaler Jacobian-Operatoren. Folglich charakterisieren die Standard-Skalierungsgesetze zwar die Skalierung des Endpunktverlusts, aber nicht notwendigerweise die Skalierung der Qualität der internen Propagation.

2. Methodik: Das Propagationsfeld-Framework

Die Autoren schlagen eine Perspektive des „Propagationsfelds" vor, inspiriert vom Übergang von der kraftbasierten Mechanik zu geometrischen Feldtheorien in der Physik (z. B. Allgemeine Relativitätstheorie und Yang-Mills-Theorie). Anstatt Schichten als diskrete Rechenschritte zu betrachten, wird das Netzwerk als ein Feld definiert, das durch die Gesamtheit der Bahnen verborgener Zustände und lokaler Jacobian-Operatoren über die Tiefe hinweg bestimmt wird.

2.1 Kern-Definitionen

Propagationsfeld ( $\Phi_\theta$ ): Definiert als die Menge der verborgenen Zustände $\{h_0, \dots, h_L\}$ und lokalen Jacobianen $\{J_0, \dots, J_{L-1}\}$ , wobei $J_\ell = \partial h_{\ell+1} / \partial h_\ell$ . Für Modelle mit kontinuierlichem Fluss umfasst dies die Bahn $h(t)$ und das Vektorfeld $f_\theta(h, t)$ .
Endpunkt-Äquivalenz: Zwei Modelle sind endpunktäquivalent, wenn sich ihre Aufgabenverluste um weniger als eine Toleranz $\epsilon$ unterscheiden. Die Arbeit beweist (Proposition 2.3), dass Endpunkt-Äquivalenz keine Feld-Äquivalenz impliziert; Modelle können eine identische Genauigkeit aufweisen, sich jedoch in ihrer Bahn- und Jacobian-Struktur um Größenordnungen unterscheiden.
Feld-Distanz: Eine Metrik $d_{field}$ quantifiziert die Diskrepanz zwischen den Bahnen verborgener Zustände und den Jacobian-Strukturen zweier Modelle.

2.2 Beobachtbare Metriken

Um das Propagationsfeld messbar zu machen, führen die Autoren diskrete Geometrie-Metriken ein, die in Standard-Netzen berechenbar sind:

Pfadlänge: Gesamte Verschiebung der Repräsentation über die Tiefe hinweg.
Diskrete Krümmung: Ein Proxy für die Biegung der verborgenen Bahn.
Geschwindigkeitsausrichtung: Die Konsistenz der Propagationsrichtung über die Schichten hinweg.
Pfadempfindlichkeit: Die Varianz in verborgenen Zuständen oder Ausgaben, wenn derselbe Eingabewert über verschiedene Beobachtungspfade präsentiert wird (z. B. verschiedene Patch-Reihenfolgen oder zeitliche Fenster).
Solver-Konsistenz: Die Stabilität der Endzustände, wenn dasselbe zugrundeliegende Feld mit verschiedenen Schrittweiten oder numerischen Solvern diskretisiert wird.
Retention-Scores (FRS/JRS): Beim kontinuierlichen Lernen Metriken, die die Drift der verborgenen Bahnen (FRS) und der lokalen Jacobianen (JRS) zwischen alten und neuen Modellen messen.

2.3 Optimierungsziele

Die Arbeit führt feldbewusste Ziele ein, um die interne Geometrie zu regularisieren:

Multi-Pfad-Konsistenz ( $L_{reveal}$ ): Minimiert Unterschiede in verborgenen Zuständen/Logits über verschiedene Beobachtungspfade hinweg.
Solver-Konsistenz ( $L_{solver}$ ): Stellt sicher, dass Endzustände unter verschiedenen numerischen Diskretisierungen konsistent bleiben.
Jacobian-Glättung ( $L_{jac}$ ): Regularisiert die Glätte lokaler Propagationsoperatoren.
Felderhalt-Regularisierung (FPR): Beim kontinuierlichen Lernen fügt FPR Einschränkungen hinzu, um die verborgenen Bahnen und Jacobian-Felder früherer Aufgaben zu bewahren, und ergänzt damit Standard-Replay- oder Distillation-Methoden.

3. Hauptbeiträge und experimentelle Ergebnisse

Die Arbeit liefert empirische Belege in kontrollierten Systemen, realen Aufgaben und Szenarien des kontinuierlichen Lernens.

3.1 Kontrollierte Systeme (Teacher-Flow & PDEs)

Unbestimmtheit: In Teacher-Flow-Experimenten zeigten Modelle mit identischer Endpunkt-Genauigkeit (0,9975) Fehler bei der Bahnwiederherstellung, die sich um den Faktor 58,7 unterschieden (3,52 vs. 0,06), wenn eine Feld-Überwachung angewendet wurde.
Gesetzeswiederherstellung: Bei PDE-Extrapolationsaufgaben versagte das Standard-Endpunkt-Fitting, das zugrundeliegende Propagationsgesetz wiederherzustellen (MSE = 1,217 bei $T=2,0$ ), wohingegen generator-artige Feldmodelle deutlich geringere Fehler erreichten (MSE = 0,195) und die Energieentwicklung bewahrten.
Fazit: Das Endpunkt-Fitting identifiziert eine Klasse verhaltensäquivalenter Modelle, scheitert jedoch daran, das zugrundeliegende Propagationsgesetz wiederherzustellen.

3.2 Reale Multi-Pfad-Aufgaben

Aufgaben-Ausrichtung: Feldbewusste Ziele verbessern die Generalisierung (OOD-Genauigkeit, Genauigkeit bei unsichtbaren Pfaden) und die Kalibrierung nur dann, wenn sie mit der Aufgabenstruktur abgestimmt sind.
- Erfolg: Auf Tiny-ImageNet verbesserte das vollständige feldbewusste Ziel die Genauigkeit (0,097 $\to$ 0,118), die OOD-Genauigkeit und die Kalibrierung, während die Pfadempfindlichkeit reduziert wurde.
- Versagen (Kollaps): Auf CIFAR-100 führte die Erzwingung der Feldkonsistenz zu einer Reduktion der Pfadempfindlichkeit, verursachte jedoch einen Feldkollaps und verschlechterte die Genauigkeit von 0,0405 auf 0,0093. Dies zeigt, dass eine niedrige Pfadempfindlichkeit nicht ausreicht für diskriminierende Leistung; das Feld muss eine ausreichende Richtungsreichhaltigkeit bewahren.
Optimierungs-Trade-offs: Die Gradientenanalyse offenbart Konflikte zwischen Aufgaben- und Feldzielen (bis zu 36 % negative Gradientenanteile). Das Standard-Backpropagation findet nicht automatisch den optimalen Trade-off zwischen Aufgabe und Feld; spezialisierte Algorithmen (z. B. LocalFieldMatch) sind erforderlich, um die Pareto-Front zu navigieren.

3.3 Kontinuierliches Lernen

Feld- vs. Funktions-Retention: Bei Split CIFAR-100 bewahrte die eigenständige Felderhalt-Regularisierung (FPR) erfolgreich interne Feldmetriken (JRS = 0,033), scheiterte jedoch daran, die Endpunkt-Genauigkeit zu erhalten (AA = 0,037). Umgekehrt bewahrten Standard-Replay-Methoden (DER++) die Genauigkeit (AA = 0,135), erlaubten jedoch eine Felddrift (JRS = 0,177).
Komplementarität: Die Kombination von FPR mit DER++ (DER++ + FPR-Full) verbesserte beide Dimensionen gleichzeitig, erhöhte die durchschnittliche Genauigkeit (0,125 $\to$ 0,136) und den Backward Transfer, während die Felddrift reduziert wurde. Dies legt nahe, dass Feldretention und Funktionsretention komplementäre, nicht redundante Ziele sind.

4. Bedeutung und Behauptungen

Die Arbeit behauptet, die Qualität des Propagationsfelds als messbare und trainierbare Eigenschaft neuronaler Netze zu etablieren, die über die Endpunkt-Leistung hinaus existiert.

Theoretischer Wandel: Sie stellt das Deep Learning neu dar, von der Optimierung einer statischen Eingabe-Ausgabe-Karte hin zum Management eines dynamischen internen geometrischen Substrats.
Identifizierbarkeit: Sie zeigt auf, dass die Endpunkt-Überwachung nicht ausreicht, um das interne Propagationsfeld eindeutig zu bestimmen, und macht explizite feldbewusste Ziele für Aufgaben erforderlich, die Pfadabhängigkeit oder Prozesse mit langem Horizont beinhalten.
Praktischer Nutzen: Feldbewusste Ziele können die Robustheit und Generalisierung in spezifischen Regimen (z. B. Multi-Pfad-Aufgaben) verbessern, erfordern jedoch eine sorgfältige Balance, um einen „Feldkollaps" zu vermeiden, bei dem das Netzwerk geometrische Konsistenz auf Kosten der diskriminierenden Kraft optimiert.
Kontinuierliches Lernen: Sie schlägt vor, dass Vergessen auf der Feldebene stattfindet (Umschreiben interner Propagationsgesetze) und dass die Bewahrung dieser Geometrie traditionelle Strategien zur Erhaltung auf Funktionsebene ergänzt.

Die Autoren schließen mit einem „Kakeya-ähnlichen Richtungsprinzip": Nützliche Propagationsfelder müssen spurartige Pfadempfindlichkeit reduzieren, während sie eine ausreichende Richtungsreichhaltigkeit für die Diskriminierung bewahren. Diese Arbeit legt nahe, dass zukünftige Deep-Learning-Forschung die Geometrie der internen Propagation explizit messen und optimieren sollte, nicht nur die endgültige Ausgabe.