Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport

Dieses Paper stellt eine Methode zur Hyperparameter-Trajektorien-Inferenz vor, die mittels bedingtem Lagrange-optimalen Transport ein Surrogatmodell entwickelt, um das Verhalten neuronaler Netze bei veränderten Hyperparametern effizient vorherzusagen und teures Nachtrainieren zu vermeiden.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen hochmodernen Kochroboter (ein neuronales Netz), der Ihnen perfekte Gerichte zubereitet. Dieser Roboter hat jedoch einen Drehregler – einen sogenannten Hyperparameter.

• Wenn Sie den Regler auf „A" stellen, ist das Essen sehr scharf (gut für jemanden, der es mag).
• Wenn Sie ihn auf „B" stellen, ist es sehr mild (gut für jemanden, der keine Schärfe verträgt).

Das Problem: Wenn Sie den Roboter heute kaufen, müssen Sie den Regler sofort auf eine feste Einstellung stellen. Morgen aber ändert sich vielleicht Ihr Geschmack, oder Sie kochen für jemanden mit einem anderen Magen. Um das Essen anzupassen, müssten Sie den Roboter normalerweise komplett neu programmieren und neu trainieren. Das dauert Stunden, kostet viel Strom und ist mühsam.

Die Lösung der Forscher: Ein „Koch-Orakel"

Diese Arbeit aus dem Jahr 2026 stellt eine neue Methode vor, die wir „Hyperparameter-Trajektorien-Inferenz" nennen. Das klingt kompliziert, ist aber im Grunde wie ein Wettervorhersage-System für den Kochroboter.

Statt den Roboter jedes Mal neu zu programmieren, lernen wir ein Zwischenmodell (ein Surrogat). Dieses Modell beobachtet den Roboter nur bei drei Einstellungen (z. B. „sehr scharf", „mittel", „sehr mild") und lernt daraus, wie sich das Essen verändert, wenn man den Regler langsam dreht.

Das Besondere an dieser Methode ist, dass sie nicht einfach nur eine gerade Linie zwischen den Einstellungen zieht (wie ein einfacher Interpolator). Stattdessen nutzt sie eine mathematische Idee namens „Optimaler Transport mit Lagrange-Funktionen".

Die Analogie: Der Wanderer im Gebirge

Stellen Sie sich vor, die verschiedenen Geschmäcker sind wie verschiedene Orte in einer Landschaft.

• Ein einfacher Weg würde eine gerade Linie durch den Wald ziehen, auch wenn dort ein Fluss oder ein steiler Abhang liegt. Das Ergebnis wäre ein schlechter Weg.
• Unsere Methode hingegen ist wie ein erfahrener Wanderer, der die Landschaft kennt. Er weiß: „Um von 'scharf' zu 'mild' zu kommen, muss ich nicht durch den Sumpf gehen, sondern den Bergpfad nehmen, der am effizientesten ist."

Die Forscher haben zwei Tricks eingebaut, damit dieser Wanderer den besten Weg findet:

1. Der „Dichte-Bias" (Der belebte Pfad): Der Wanderer bevorzugt Wege, auf denen schon viele andere Wanderer waren (dichte Datenbereiche). Er geht nicht ins leere Nichts, sondern bleibt auf den gut ausgetretenen Pfaden der Realität.
2. Das „Prinzip des geringsten Aufwands": Der Wanderer sucht immer den Weg, der am wenigsten Energie kostet. Er nimmt keine unnötigen Umwege.

Warum ist das so genial?

In der echten Welt gibt es viele Szenarien, in denen sich Vorlieben ändern:

• Medizin: Ein Krebsmedikament muss für jeden Patienten anders dosiert werden (zwischen Tumor-Bekämpfung und Nebenwirkungen abwägen). Statt für jeden Patienten einen neuen Arzt (Modell) auszubilden, nutzt man dieses Orakel, um die Dosis sofort anzupassen.
• Autonomes Fahren: Ein Auto muss mal vorsichtig (bei Regen) und mal schnell (auf der Autobahn) fahren. Das Orakel erlaubt es, das Fahrverhalten sofort umzustellen, ohne das Auto neu zu programmieren.
• Künstliche Intelligenz: Wenn man KI-Bilder generiert, kann man sofort zwischen „fotorealistisch" und „künstlerisch abstrakt" wechseln, indem man einfach am Regler dreht.

Das Ergebnis

Die Forscher haben gezeigt, dass ihr „Orakel" viel besser ist als alte Methoden. Es kann die Veränderungen des Kochroboters (oder der KI) über den gesamten Drehregler hinweg vorhersagen, auch für Einstellungen, die es nie gesehen hat.

Zusammenfassend:
Statt einen teuren, starren Roboter zu haben, der nur eine Sache kann, bauen wir ein intelligentes Zwischenmodell. Dieses Modell versteht die „Physik" der Veränderungen. Es erlaubt uns, die KI in Echtzeit an unsere Bedürfnisse anzupassen, als würden wir einfach am Regler drehen, ohne jemals den Roboter neu zu programmieren. Das spart Zeit, Energie und macht KI viel flexibler für unsere sich ständig ändernde Welt.

Technische Zusammenfassung

1. Problemstellung: Hyperparameter-Trajektorien-Inferenz (HTI)

Neuronale Netze (NN) weisen oft kritische Verhaltenskompromisse auf, die durch Hyperparameter $\lambda$ festgelegt werden (z. B. Belohnungsgewichte im Reinforcement Learning oder Quantil-Ziele in der Regression). Das Problem besteht darin, dass sich Benutzerpräferenzen oder Umgebungsbedingungen nach dem Deployment ändern können. Eine Anpassung erfordert normalerweise ein teures und zeitaufwendiges Nachtrainieren des Modells für die neuen Hyperparameter.

Die Autoren führen die Aufgabe der Hyperparameter Trajectory Inference (HTI) ein. Das Ziel ist es, aus beobachteten Daten zu lernen, wie sich die bedingte Ausgabeverteilung eines NNs $p_{\theta_\lambda}(y|x)$ in Abhängigkeit von den Hyperparametern $\lambda$ verändert. Daraus soll ein Surrogatmodell $\hat{p}(y|x, \lambda)$ abgeleitet werden, das es erlaubt, Ausgaben für nicht beobachtete Hyperparameter-Einstellungen effizient zu approximieren, ohne das ursprüngliche NN neu trainieren zu müssen.

Die Herausforderung liegt darin, dass die Dynamik $\lambda \mapsto p_{\theta_\lambda}(y|x)$ typischerweise nicht-linear und von komplexen Optimierungslandschaften geprägt ist. Einfache Interpolationsmethoden (wie bedingtes Flow Matching) scheitern oft daran, physikalisch oder statistisch plausible Pfade (feasible paths) zwischen den beobachteten Randverteilungen zu finden.

2. Methodik: Bedingte Lagrange'sche Optimaler Transport (CLOT)

Die vorgeschlagene Lösung basiert auf der Erweiterung des Trajectory Inference (TI) auf den bedingten Fall (Conditional TI, CTI) unter Verwendung von Conditional Lagrangian Optimal Transport (CLOT).

Kernkonzept

Anstatt einfache euklidische Distanzen zu verwenden, modelliert die Methode die Dynamik zwischen den Verteilungen als Bewegung auf einer Mannigfaltigkeit, die durch eine Lagrange-Funktion $L(q, \dot{q}|x)$ gesteuert wird. Diese Funktion setzt sich aus kinetischer Energie $K$ und potentieller Energie $U$ zusammen:
$$L(q_t, \dot{q}_t|x) = K(q_t, \dot{q}_t|x) - U(q_t|x) = \frac{1}{2}\dot{q}_t^T G(q_t|x) \dot{q}_t - U(q_t|x)$$

Dabei repräsentiert $q_t$ den Zustand der Verteilung zum „Zeitpunkt" (Hyperparameter) $t$.

Induktive Verzerrungen (Inductive Biases)

Um realistische Pfade zu erzwingen, werden zwei spezifische Verzerrungen in die Lagrange-Funktion kodiert:

1. Dichte-Durchquerung (Dense Traversal): Die potentielle Energie $U(q|x)$ wird so gestaltet, dass sie in dichten Regionen des Datenraums niedrig und in leeren Regionen hoch ist. Dies wird durch einen Schätzer der Dichte (Nadaraya-Watson) erreicht. Die Geodäten werden dadurch gezwungen, durch Regionen hoher Datenwahrscheinlichkeit zu verlaufen.
2. Prinzip des kleinsten Wirkungsintegrals (Least-Action): Die kinetische Energie $K$ wird durch eine lernbare Riemannsche Metrik $G_\theta(q|x)$ definiert. Das System lernt die Geometrie der Datenmannigfaltigkeit, sodass die Pfade den Weg des geringsten Widerstands (minimale Aktion) zwischen den beobachteten Randverteilungen finden.

Neuronale Implementierung

Die Methode verwendet neuronale Netze, um die Komponenten des CLOT-Problems zu approximieren:

• Metrik $G_\theta$: Wird durch eine Eigenzerlegung parametrisiert ($G = R E R^T$), wobei Rotation $R$ und Eigenwerte $E$ von NNs gelernt werden. Dies verhindert degenerierte Lösungen und erlaubt die Erweiterung auf hochdimensionale Räume.
• Transportabbildungen und Geodäten: Neuronale Approximatoren lernen die Optimal-Transport-Maps und die Geodäten (mittels kubischer Splines), die die Verteilungen verbinden.
• Training: Ein Min-Max-Spiel wird verwendet, um die Metrik und die Potentiale gemeinsam zu optimieren, wobei die Kostenfunktion auf dem CLOT-Prinzip basiert.

3. Wichtige Beiträge

1. Einführung von HTI: Definition eines neuen Problems zur Inferenz von Hyperparameter-Dynamiken, um eine Anpassung von NN-Verhalten zur Laufzeit (Inference-Time) ohne Nachtraining zu ermöglichen.
2. Allgemeine Methode für CTI: Entwicklung eines Frameworks auf Basis von CLOT, das komplexe, nicht-euklidische bedingte Dynamiken aus spärlichen Daten lernt. Dies umfasst:
   • Das Lernen einer datenabhängigen potentiellen Energie $U$.
   • Die Erweiterung auf den bedingten OT-Setting (Conditional OT).
   • Eine ausdrucksstarke neuronale Parametrisierung der Metrik $G_\theta$, die höherdimensionale Räume unterstützt.
3. Empirische Validierung: Demonstration, dass der Ansatz bedingte Wahrscheinlichkeitspfade in verschiedenen Domänen (RL, Regression, Generative Models) besser rekonstruiert als bestehende Alternativen.

4. Ergebnisse und Experimente

Die Autoren evaluieren ihre Methode in mehreren Szenarien und vergleichen sie mit Baselines wie direkter Regression, Conditional Flow Matching (CFM), Metric Flow Matching (MFM) und dem unbedingten NLOT-Verfahren.

• Reinforcement Learning (Belohnungsgewichtung):
  • Krebs-Therapie-Simulation: Ein Agent muss Tumore reduzieren und gleichzeitig Immunzellen (NK-Zellen) schützen. Der Hyperparameter $\lambda$ gewichtet diese Ziele. Das HTI-Surrogat erlaubt eine personalisierte Anpassung des Gewichts zur Laufzeit. Das Modell erreichte die höchste durchschnittliche Belohnung und passte sich genau an die Ground-Truth-Pfade an, wobei das Training des Surrogats nur ~15 Minuten dauerte (vs. 3,5 Stunden pro neuem PPO-Agent).
  • Reacher-Umgebung: Ähnliche Erfolge bei der Anpassung von Kontrollstrafen.
  • Nicht-lineare Belohnung: Das Modell bleibt robust, auch wenn die Belohnungsfunktion nicht-linear ist (Hinge-Penalty).
• Quantil-Regression (Zeitreihen):
  • Vorhersage von Unsicherheitsintervallen für Öltemperaturdaten (ETTm2). Das Surrogat lernte die Dynamik zwischen den Quantilen $\tau=0.01$ und $\tau=0.99$ und konnte präzise Zwischenquantile vorhersagen, was zu einem niedrigeren MSE führte als bei anderen Methoden.
• Generative Modellierung (Dropout):
  • Interpolation zwischen Diffusionsmodellen mit unterschiedlichen Dropout-Raten. Das Surrogat konnte die Verteilungen für nicht trainierte Dropout-Werte mit minimaler Wasserstein-Distanz rekonstruieren.
• Ablationsstudien:
  • Die Kombination aus gelernter Metrik ($K_\theta$) und Dichte-Bias ($\hat{U}$) erwies sich als überlegen gegenüber einzelnen Komponenten oder euklidischen Ansätzen.
  • Die neue Parametrisierung der Metrik ($R E R^T$) funktionierte besser in 2D und war skalierbar auf höhere Dimensionen.

5. Bedeutung und Ausblick

Das Paper stellt einen signifikanten Fortschritt dar, da es die Lücke zwischen statischen Hyperparametern und dynamischen Benutzeranforderungen schließt.

• Effizienz: HTI reduziert den Rechenaufwand für die Anpassung von NNs drastisch (von Stunden/Tagen auf Minuten), indem es ein Surrogatmodell nutzt, das den gesamten Hyperparameter-Raum abdeckt.
• Flexibilität: Es ermöglicht die Anpassung von Modellen an kontextspezifische Anforderungen (z. B. personalisierte Medizin, variable Robustheitsanforderungen) ohne erneutes Training.
• Theoretische Fundierung: Durch die Integration von Lagrange-Dynamik und Optimal Transport bietet die Methode eine mathematisch fundierte Möglichkeit, komplexe, nicht-euklidische Übergänge zwischen Verteilungen zu modellieren, was über einfache lineare Interpolation hinausgeht.

Einschränkungen: Die aktuelle Methode ist auf einen einzelnen, kontinuierlichen Hyperparameter beschränkt. Die Erweiterung auf mehrere Hyperparameter oder diskrete Parameter wird als zukünftige Forschungsrichtung identifiziert, wobei Herausforderungen bei der Definition einer sinnvollen „Zeit"-Achse im multidimensionalen Raum bestehen.