🤖 machine learning

Limits of Learning Linear Dynamics from Experiments

Dieser Artikel zeigt, dass zwar die vollständige Systemidentifizierbarkeit in linearen Dynamiken ohne klassische Bedingungen wie die Steuerbarkeit versagen kann, das experimentelle Setup jedoch grundlegend eine geometrische Grenze auferlegt, innerhalb derer die eingeschränkten Dynamiken auf dem erreichbaren Unterraum eindeutig bestimmt und rekonstruierbar bleiben.

Ursprüngliche Autoren: Aybüke Ulusarslan, Niki Kilbertus, Nora Schneider

Veröffentlicht 2026-05-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aybüke Ulusarslan, Niki Kilbertus, Nora Schneider

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Black Box"-Problem

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, wie eine mysteriöse Maschine funktioniert. Sie können die Maschine nicht öffnen, um die Zahnräder im Inneren zu sehen (die innere Mathematik). Alles, was Sie tun können, ist, Knöpfe zu drücken (Eingaben) und zu beobachten, wie Lichter aufleuchten oder Räder sich drehen (Ausgaben/Trajektorien).

Ihr Ziel ist es, ein perfektes Modell der internen Regeln der Maschine basierend auf dem, was Sie sehen, zu erstellen. Normalerweise gehen Wissenschaftler davon aus, dass Sie, wenn Sie genug verschiedene Knöpfe drücken, alles über die Maschine herausfinden können.

Dieses Paper sagt: „Nicht so schnell."

Die Autoren zeigen, dass es manchmal, egal wie hart Sie die Knöpfe drücken, Teile der Maschine gibt, die Sie einfach nicht sehen können. Wenn Sie versuchen, die Regeln für diese verborgenen Teile zu erraten, könnten Sie die Antwort falsch bekommen, und Ihr Modell wird versagen, wenn Sie versuchen, es in einer neuen Situation einzusetzen.

Das Kernkonzept: Der „Sichtbare Unterraum"

Das Paper führt ein Konzept ein, das als Sichtbarer Unterraum bezeichnet wird. Stellen Sie sich den Zustand der Maschine als einen Raum mit 3D-Koordinaten vor (hoch/runter, links/rechts, vor/zurück).

Das Experiment: Wenn Sie die Maschine mit einer spezifischen Anfangsposition starten und einen spezifischen Knopf drücken, ist die Bewegung der Maschine wie ein Taschenlampenstrahl.
Die Grenze: Dieser Strahl beleuchtet nur einen bestimmten Schnitt des Raumes. Er könnte den „Boden" und die „linke Wand" erhellen, lässt aber die „Decke" und die „rechte Wand" in totaler Dunkelheit.
Das Ergebnis: Sie können die Regeln für den Boden und die linke Wand perfekt lernen, weil Sie sie sehen können. Aber für die Decke und die rechte Wand? Sie haben null Informationen. Jedes Modell, das Sie für diese dunklen Bereiche erstellen, ist nur eine Vermutung.

Das Paper beweist, dass Sie nur die Regeln für den Teil des Systems lernen können, den Ihr Experiment tatsächlich „berührt".

Die zwei Hauptzutaten: Anfangszustand und Eingabe

Um zu verstehen, was Sie sehen können, benötigen Sie zwei Dinge:

Der Startpunkt (Anfangszustand): Wo starten Sie die Maschine? Wenn Sie in einer Ecke starten, die sich bereits in der „Dunkelzone" befindet, könnten Sie niemals in der Lage sein, Licht auf den Rest des Raumes zu werfen.
Der Druck (Steuerungseingabe): Wie drücken Sie die Knöpfe? Wenn Sie jedes Mal denselben Knopf auf dieselbe Weise drücken, könnten Sie nur eine einzige Linie nachzeichnen. Sie müssen die Knöpfe auf komplexe, vielfältige Weise drücken (was das Paper als „Persistente Anregung" bezeichnet), um die Maschine dazu zu bringen, so viel wie möglich des Raumes zu erkunden.

Die Entdeckung der „Teilweisen Identifizierbarkeit"

Das wichtigste Ergebnis ist, dass Sie, selbst wenn Sie die gesamte Maschine nicht lernen können, den Teil, den Sie gesehen haben, lernen können.

Altes Denken: „Wenn ich die gesamte Maschine nicht herausfinden kann, ist mein Modell nutzlos."
Neue Erkenntnis: „Ich kann die gesamte Maschine nicht herausfinden, aber ich kann die Regeln für den spezifischen Schnitt, den ich erhellt habe, perfekt herausfinden. Dieser Schnitt ist einzigartig und korrekt."

Die Autoren bieten eine mathematische Methode an, um eine Linie zwischen dem „Sichtbaren Schnitt" (der mit Sicherheit bekannt ist) und dem „Verborgenen Schnitt" (der ein Rätsel ist) zu ziehen. Sie zeigen, dass jedes Modell, das zu Ihren Daten passt, beim Sichtbaren Schnitt übereinstimmen muss, aber beim Verborgenen Schnitt völlig unterschiedlich sein kann.

Warum dies für Spärliche Systeme wichtig ist

Das Paper testet dies an „spärlichen" Systemen. Stellen Sie sich eine Maschine mit 100 Zahnrädern vor, aber nur 5 davon sind tatsächlich mit den Knöpfen verbunden, die Sie drücken können.

Das Problem: Da so wenige Zahnräder verbunden sind, können Sie die anderen 95 nicht erreichen. Die Maschine ist „nicht steuerbar".
Die Realität: In der realen Welt sind viele Systeme (wie biologische Netzwerke oder große ökonomische Modelle) spärlich. Sie sind oft im traditionellen Sinne „nicht steuerbar".
Die Erkenntnis: Nur weil ein System „nicht steuerbar" ist, bedeutet das nicht, dass Sie nichts lernen können. Es bedeutet nur, dass Sie akzeptieren müssen, dass Sie nur die Regeln für den kleinen, sichtbaren Teil des Systems lernen, den Ihr Experiment erreicht hat.

Die „spukhafte" Konsequenz

Das Paper warnt davor, dass Sie, wenn Sie diese Grenze ignorieren, ein Modell erstellen könnten, das auf Ihren Testdaten perfekt aussieht, aber später kläglich versagt.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, die Regeln eines Spiels zu lernen, indem Sie einen Spieler beobachten, der nur jemals auf einem kleinen, flachen Grasfleck spielt. Sie lernen die Regeln für das Gras perfekt. Aber dann versuchen Sie, diese Regeln zu verwenden, um vorherzusagen, was passiert, wenn der Spieler in einen Wald läuft oder einen Berg erklimmt. Ihr Modell wird versagen, weil Sie den Wald oder den Berg nie gesehen haben.

Das Paper gibt Ihnen ein Werkzeug an die Hand, um zu sagen: „Ich weiß genau, welchen Teil des Spiels ich gelernt habe (das Gras), und ich weiß genau, welche Teile ich nicht gelernt habe (der Wald). Ich werde keine Behauptungen über den Wald aufstellen."

Zusammenfassung der Beiträge

Die Grenze: Sie definierten die exakte Grenze dessen, was ein Experiment offenbaren kann (der Sichtbare Unterraum).
Die Garantie: Sie bewiesen, dass die Regeln für den Sichtbaren Unterraum einzigartig und korrekt sind, selbst wenn der Rest des Systems ein Rätsel ist.
Der Test: Sie erstellten einfache mathematische Tests, um Ihnen bevor Sie ein Experiment durchführen zu sagen, ob Ihr Startpunkt und Ihre Knopfdrück-Strategie ausreichen werden, um das gesamte System oder nur einen Teil davon zu sehen.
Die Validierung: Sie testeten dies an Computersimulationen spärlicher Systeme und zeigten, dass Standard-Lernmethoden (wie Neural ODEs oder SINDy) natürlich den sichtbaren Teil korrekt lernen, aber mit dem verborgenen Teil kämpfen, genau wie die Theorie vorhersagte.

Kurz gesagt: Sie können nicht lernen, was Sie nicht sehen können. Aber wenn Sie genau wissen, was Sie sehen können, können Sie ein zuverlässiges Modell für diesen spezifischen Teil erstellen und aufhören, über den Rest zu raten.

Technische Zusammenfassung: Grenzen des Lernens linearer Dynamiken aus Experimenten

1. Problemstellung

Die Arbeit adressiert das fundamentale Problem der Identifikation der Parameter $(A, B)$ eines unbekannten kontinuierlichen linearen zeitinvarianten (LTI) Systems aus beobachteten Zustands-Eingangs-Trajektorien. Das System wird durch die gewöhnliche Differentialgleichung beschrieben:
$\dot{x}(t) = Ax(t) + Bu(t), \quad x(0) = x_0$
wobei $x(t) \in \mathbb{R}^n$ der Zustand, $u(t) \in \mathbb{R}^m$ die Stellgröße und $(A, B)$ die unbekannten Parameter sind.

Die klassische Identifizierbarkeitstheorie für gesteuerte LTI-Systeme stellt fest, dass die Steuerbarkeit des Systems und eine persistenterregende (PE) Eingangsgröße hinreichende Bedingungen sind, um $(A, B)$ aus einem einzigen Experiment eindeutig zu rekonstruieren. In vielen praktischen Szenarien – insbesondere bei dünnbesetzten und hochdimensionalen Systemen – ist die Steuerbarkeit jedoch häufig nicht gegeben. Wenn die Steuerbarkeit fehlt, bleibt unklar, ob ein einzelnes Experiment das gesamte System eindeutig bestimmen kann oder ob nur Teile des Systems rekonstruierbar sind. Darüber hinaus fehlt in der bestehenden Literatur eine geschlossene Charakterisierung der Identifizierbarkeit für nicht-autonome LTI-Systeme, die keine Steuerbarkeit voraussetzt.

Das Kernproblem besteht darin, die experimentbedingte Identifizierbarkeit zu charakterisieren: Welche Teile des Systems werden durch ein spezifisches Experiment (definiert durch einen Anfangszustand $x_0$ und eine Stellgröße $u$ ) eindeutig bestimmt, und welche Teile bleiben mehrdeutig?

2. Methodik und Theoretischer Rahmen

Die Autoren entwickeln einen geometrischen und algebraischen Rahmen, um die Grenzen der aus einem einzigen Experiment $e = (x_0, u)$ rekonstruierbaren Informationen zu analysieren.

2.1 Der sichtbare Unterraum

Das eingeführte zentrale Konzept ist der sichtbare Unterraum, bezeichnet mit $\mathcal{V}(x_0)$ . Dieser ist definiert als der kleinste $A$ -invariante Unterraum, der den Anfangszustand $x_0$ und das Bild der Eingangsmatrix $B$ (d. h. $\text{Im}(B)$ ) enthält. Formal handelt es sich um den Krylov-Raum:
$\mathcal{V}(x_0) := \mathcal{K}_n(A, [x_0 \ B]) = \text{span}\left\{ [x_0 \ B], A[x_0 \ B], \dots, A^{n-1}[x_0 \ B] \right\}$
Die Autoren beweisen ein Orbit-Einschränkungs-Lemma: Unabhängig von der Komplexität der Eingangsgröße $u$ ist die resultierende Zustands-Trajektorie $\phi(t)$ strikt in $\mathcal{V}(x_0)$ enthalten. Folglich können die Systemdynamiken außerhalb dieses Unterraums (im „blinden" Komplement) die beobachtete Trajektorie nicht beeinflussen.

2.2 Experiment-konsistente vs. Design-konsistente Mengen

Die Arbeit unterscheidet zwischen zwei Mengen von Systemen, die mit den Beobachtungen konsistent sind:

Design-konsistente Menge $[A, B]_E$ : Die Menge aller Systeme, die mit der Experimentklasse (alle möglichen Eingangsgrößen $u \in U$ ) konsistent sind. Dies repräsentiert die strukturelle Grenze der Informationen, gegeben den Anfangszustand und die Eingangsgrößen-Fähigkeiten.
Experiment-konsistente Menge $[A, B]_e$ : Die Menge aller Systeme, die mit einem einzelnen realisierten Experiment $(x_0, u)$ konsistent sind.

Die Autoren etablieren einen „Brücken"-Satz: Wenn die realisierte Trajektorie informativ ist (was bedeutet, dass der gemeinsame Regressor der projizierten Zustände und Eingangsgrößen eine Gram-Matrix vollen Rangs besitzt), dann kollabiert die Einzelexperiment-Menge zur design-konsistenten Menge ( $[A, B]_e = [A, B]_E$ ). Sie zeigen, dass eine persistenterregende Eingangsgröße ausreichender Ordnung diese Informativität garantiert.

2.3 Charakterisierung der Identifizierbarkeit

Unter einem informativen Experiment leiten die Autoren eine geschlossene Parametrisierung aller mit den Daten konsistenten Systeme her. Unter Verwendung einer Koordinatentransformation $T$ , die den sichtbaren Unterraum $\mathcal{V}(x_0)$ von seinem Komplement $\mathcal{W}$ trennt, muss jedes konsistente System $(\tilde{A}, \tilde{B})$ folgende Bedingungen erfüllen:

$\tilde{B} = B$
Die Einschränkung von $\tilde{A}$ auf den sichtbaren Unterraum entspricht der Einschränkung von $A$ : $\tilde{A}|_{\mathcal{V}(x_0)} = A|_{\mathcal{V}(x_0)}$
Die Dynamiken auf dem Komplement $\mathcal{W}$ und die Kopplungsterme können beliebig sein.

Somit ist das System vollständig identifizierbar genau dann, wenn $\mathcal{V}(x_0) = \mathbb{R}^n$ gilt (d. h., der sichtbare Unterraum spannt den gesamten Zustandsraum auf). Andernfalls sind nur die eingeschränkten Dynamiken auf dem sichtbaren Unterraum eindeutig bestimmt.

2.4 Algebraische Kriterien

Um die Nähe zur Nicht-Identifizierbarkeit zu quantifizieren, schlägt die Arbeit zwei algebraische Tests basierend auf dem erweiterten Paar $(A, [x_0 \ B])$ vor:

Linker-Eigenvektor-Test: Die vollständige Identifizierbarkeit versagt, wenn ein linker Eigenvektor $w$ von $A$ existiert, sodass $w^\top x_0 = 0$ und $w^\top B = 0$ gilt. Ein Rand $\mu_{\min}$ wird definiert, um die Ausrichtung der Eigenvektoren mit den Erregungsquellen zu messen.
Fest-Experiment-PBH-Test: Ein modifizierter Popov–Belevitch–Hautus (PBH)-Rand $d_{\text{PBH}}(A, B | x_0)$ wird hergeleitet, der den Abstand zum Verlust der Identifizierbarkeit unter der Bedingung des festen $x_0$ misst.

3. Hauptbeiträge

Satz zur partiellen Identifizierbarkeit: Die Arbeit beweist, dass selbst wenn das gesamte System nicht identifizierbar ist, die auf den sichtbaren Unterraum $\mathcal{V}(x_0)$ eingeschränkten Dynamiken durch ein einziges informatives Experiment eindeutig bestimmt werden.
Geschlossene Parametrisierung: Sie liefert eine explizite Beschreibung der Menge aller mit einem gegebenen Experiment konsistenten Systeme und charakterisiert die Freiheitsgrade im nicht identifizierbaren Unterraum.
Algebraische Kriterien für Identifizierbarkeit: Sie führt berechenbare Metriken ( $\mu_{\min}$ und $d_{\text{PBH}}$ ) ein, um die vollständige Identifizierbarkeit zu testen und die Robustheit des Identifikationsproblems zu quantifizieren.
Erweiterung auf gesteuerte Systeme: Im Gegensatz zu vorheriger Arbeit, die sich auf autonome Systeme konzentrierte, trennt dieser Rahmen explizit die Rollen des Anfangszustands und der Stellgröße in gesteuerten LTI-Systemen.

4. Experimentelle Ergebnisse

Die Autoren validieren ihre theoretischen Erkenntnisse an synthetischen, dünnbesetzten LTI-Systemen, die anfällig für Steuerbarkeitsversagen sind.

Steuerbarkeit vs. Identifizierbarkeit: Experimente zeigen, dass mit zunehmender Dünnbesetztheit der Anteil steuerbarer Systeme signifikant sinkt. Die Identifizierbarkeit erweist sich jedoch als experimentbedingt: Dichte Anfangszustände können ein unsteuerbares System vollständig identifizierbar machen, während sparse Anfangszustände zu partieller Identifizierbarkeit führen können.
Subsystem-Rekonstruktion: Die Arbeit vergleicht vier Identifikationsmethoden (DMDc, MOESP, SINDy und Neuronale ODEs) an dünnbesetzten Systemen.
- Ergebnis: Alle Methoden rekonstruieren das sichtbare Subsystem (die Einschränkung auf $\mathcal{V}(x_0)$ ) mit nahezu null Fehler erfolgreich, selbst wenn das gesamte System nicht identifizierbar ist.
- Kontrast: Der Fehler bei der Rekonstruktion des gesamten Systems ( $REE_{\text{full}}$ ) bleibt deutlich von null verschieden und spiegelt die strukturelle Mehrdeutigkeit im nicht erregten Unterraum wider.
- Rauschrobustheit: Mit zunehmendem Beobachtungsrauschen bleibt der Fehler im sichtbaren Subsystem niedriger als der Fehler des Gesamtsystems, obwohl Neuronale ODEs (NODEs) aufgrund von Optimierungsproblemen im Vergleich zu geschlossenen Schätzern insgesamt höhere Fehler aufweisen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, eine Lücke in der Literatur bezüglich der Identifizierbarkeit nicht-autonomer LTI-Systeme ohne Annahme der Steuerbarkeit zu schließen. Ihre primäre Bedeutung liegt darin, die Perspektive von „Ist das System identifizierbar?" zu „Was ist unter Berücksichtigung dieses spezifischen Experiments identifizierbar?" zu verschieben.

Die Autoren argumentieren, dass:

Klassische Garantien (Steuerbarkeit + PE) für dünnbesetzte, hochdimensionale Systeme oft zu restriktiv sind.
Praktiker mechanistische Schlussfolgerungen relativ zum sichtbaren Unterraum interpretieren sollten, der durch ihr Experimentaldesign induziert wird.
Jede Behauptung über Dynamiken außerhalb des sichtbaren Unterraums unbegründet ist, unabhängig davon, wie gut ein Modell zu den Trainingsdaten passt.
Die vorgeschlagenen algebraischen Kriterien es Praktikern ermöglichen, die „epistemische Unsicherheit" ihrer Identifikationsaufgabe vor oder nach Durchführung eines Experiments zu quantifizieren.

Die Arbeit schlägt keine neuen Schätzalgorithmen vor, sondern bietet eine theoretische Linse, um die Grenzen bestehender Methoden und den fundamentalen Informationsgehalt experimenteller Daten zu verstehen.