💻 computer science

Causal Physics Steering in Video World Models via Concept Activation Vectors

Dieser Beitrag stellt „Physics Steering" vor, eine trainingsfreie Methode, die Concept Activation Vectors innerhalb der Physics Emergence Zone von VideoMAE nutzt, um das physikalische Schlussfolgern eines Modells während der Inferenz direkt und kontrolliert zu verschieben, ohne dessen Gewichte zu verändern.

Ursprüngliche Autoren: Nahid Alam

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nahid Alam

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Roboter, der Videos betrachtet und versucht zu erraten, was als Nächstes passiert. Dieser Roboter ist so gut darin, Bewegungen vorherzusagen, dass er wie ein „Weltmodell" fungiert – er versteht, wie Dinge fallen, abprallen und kollidieren. Doch hier liegt das Problem: Manchmal gerät der Roboter bezüglich der physikalischen Gesetze in Verwirrung. Er könnte denken, ein Ball könne durch eine Wand hindurchgehen oder dass ein Objekt in der Luft verschwinden kann.

Bisher mussten Sie, wenn Sie das physikalische Verständnis des Roboters korrigieren wollten, ihn von Grund auf neu trainieren oder neue Trainingsdaten hinzufügen. Diese Arbeit stellt eine clevere, „training-freie" Methode vor, um das Gehirn des Roboters in Echtzeit zu korrigieren, ohne eine einzige Zeile seines Codes zu ändern.

Hier ist erklärt, wie die Autoren dies taten, anhand einfacher Analogien:

1. Die „Physik-Kontrollzentrale" finden

Das Gehirn des Roboters besteht aus vielen Verarbeitungsschichten, wie ein mehrstöckiges Gebäude. Die Forscher entdeckten einen spezifischen Satz von Etagen in der Mitte dieses Gebäudes (die sogenannte Physik-Emergenz-Zone oder PEZ), in der das Verständnis des Roboters darüber gespeichert ist, „was physikalisch möglich ist".

Stellen Sie sich diese Zone wie einen Kontrollraum in einer Fabrik vor. Während der Roboter ein Video betrachtet, verarbeitet er das Bild, aber in diesem spezifischen Kontrollraum entscheidet er: „Macht diese Szene gemäß den physikalischen Gesetzen Sinn, oder ist es Magie?"

2. Das „Lenkrad" (Konzept-Aktivierungsvektoren)

Die Forscher stellten fest, dass sich innerhalb dieses Kontrollraums eine bestimmte Richtung im „Gedankenraum" des Roboters befindet, die auf unmögliche Physik zeigt (wie Geister, die durch Wände gehen), während die entgegengesetzte Richtung auf realistische Physik zeigt.

Sie nennen dies einen Konzept-Aktivierungsvektor (CAV). Sie können sich dies wie ein Lenkrad oder einen Lautstärkeregler für die Physik vorstellen.

Wenn Sie den Regler in die eine Richtung drehen, ist der Roboter überzeugt, dass alles, was er sieht, unmöglich ist.
Wenn Sie ihn in die andere Richtung drehen, ist der Roboter überzeugt, dass alles physikalisch möglich ist.

3. Wie sie den Roboter „lenken"

Der Trick besteht darin, dass sie den Roboter nicht neu trainieren müssen. Stattdessen lenken sie zum exakten Zeitpunkt, zu dem der Roboter ein Video betrachtet (während der Inferenz), die Gedanken des Roboters sanft in der Kontrollzentrale mit diesem Lenkrad.

Die Aktion: Sie nehmen den „Lenkrad"-Vektor und fügen ihn ein wenig zu den aktuellen Gedanken des Roboters hinzu.
Das Ergebnis: Wenn sie ihn in Richtung „unmöglich" lenken, beginnt der Roboter plötzlich zu denken, dass ein normales Video eines fallenden Balls tatsächlich ein Zaubertrick ist. Wenn sie ihn in Richtung „möglich" lenken, wird er extrem zuversichtlich, dass die Szene real ist.

4. Wichtige Entdeckungen

Die Arbeit enthüllt einige faszinierende Fakten darüber, wie dieser Roboter denkt:

Es ist lokalisiert: Die Lenkung funktioniert nur, wenn Sie die Gedanken des Roboters in diesem spezifischen „Kontrollraum" (der PEZ) drängen. Wenn Sie versuchen, die Gedanken in den Etagen über oder unter diesem Raum zu drängen, passiert nichts. Dies beweist, dass das physikalische Wissen an einem spezifischen, isolierten Ort gespeichert ist.
Physik vs. Bewegung: Der Roboter hält sein Verständnis von „Physik" getrennt von seinem Verständnis von „Richtung". Stellen Sie sich ein Auto vor: Das Lenkrad (Physik) und das Gaspedal (Bewegungsrichtung) befinden sich an verschiedenen Teilen des Armaturenbretts. Der Roboter kann so gelenkt werden, dass er über die Schwerkraft nachdenkt, ohne seine Fähigkeit zu beeinträchtigen, zu erkennen, ob sich etwas nach links oder rechts bewegt.
Unterschiedliche Regeln, unterschiedliche Regler: Der Roboter verfügt über separate „Regler" für verschiedene physikalische Regeln. Ein Regler kontrolliert die „Objektbeständigkeit" (existiert das Objekt noch, wenn ich es verstecke?), und ein anderer kontrolliert die „Solidität" (können zwei Objekte denselben Raum einnehmen?). Diese Regler sind fast vollständig voneinander unabhängig.

5. Warum dies wichtig ist

Die Autoren testeten dies an einem Benchmark namens IntPhys, der Videos von 3D-Szenen verwendet, um zu prüfen, ob eine Maschine grundlegende Physik versteht.

Der Test: Sie zeigten dem Roboter Videos von Objekten, die Unmögliches tun (wie Teleportation).
Die Korrektur: Durch Anwendung ihrer „Lenkung" konnten sie den Roboter zwingen, seine Meinung zu ändern. Sie konnten den Roboter dazu bringen, eine unmögliche Szene für möglich zu halten oder umgekehrt, mit nahezu perfekter Zuverlässigkeit.

Das Fazit

Diese Arbeit zeigt, dass der „gesunde Menschenverstand" bezüglich der Physik innerhalb einer Video-KI kein mysteriöser, unveränderlicher Blackbox ist. Es ist ein lesbarer, lokalisierter und lenkbarer Teil des Systems. Sie können die Überzeugung des Roboters bezüglich der physikalischen Gesetze buchstäblich „hochdrehen" oder „herunterdrehen", indem Sie seine internen Gedanken zum richtigen Zeitpunkt sanft anstoßen, ohne jemals den ursprünglichen Trainingscode des Roboters zu berühren.

Hinweis zu Einschränkungen: Die Arbeit konzentriert sich vollständig auf die Analyse und Lenkung der internen Urteile des Roboters. Obwohl sie im Fazit erwähnen, dass dies eventually zur Generierung neuer Videos verwendet werden könnte, beweist die aktuelle Arbeit nur, dass man ändern kann, wie der Roboter über das Video denkt, nicht jedoch, dass sie bereits erfolgreich neues Videomaterial generiert haben.

Technische Zusammenfassung: Kausale Physiksteuerung in Video-Weltmodellen mittels Concept Activation Vectors

Problemstellung

Video-Weltmodelle, die Repräsentationen physikalischer Dynamiken für Aufgaben wie modellbasiertes Reinforcement Learning und autonomes Fahren erlernen, verfügen derzeit über keine Mechanismen, um ihre physikalischen Erwartungen zur Inferenzzeit zu steuern. Obwohl neuere Interpretierbarkeitsforschung eine Physik-Entstehungszone (PEZ) innerhalb der mittleren Transformer-Schichten von VideoMAE identifiziert hat – in der physikalische Plausibilität separat von anderen visuellen Merkmalen repräsentiert wird –, blieb unklar, ob diese Struktur direkt manipuliert werden kann, um das Schlussfolgern des Modells zu verändern. Bestehende Methoden zur kontrollierten Generierung (z. B. ControlNet) verlassen sich auf Conditioning während des Trainings oder nachgelagerte Adapter, die gradientenbasierte Optimierung und gepaarte Überwachung erfordern, und adressieren damit nicht die grundlegende Frage, wo und wie physikalisches Wissen intern repräsentiert wird und ob direkt in dieses eingegriffen werden kann, ohne das Modell neu zu trainieren.

Methodik

Die Autoren schlagen Physiksteuerung vor, eine trainingsfreie Interventionsmethode zur Inferenzzeit, die Concept Activation Vectors (CAVs) nutzt, um physikalisches Schlussfolgern zu manipulieren.

Identifikation der Physik-Entstehungszone (PEZ):
In Anlehnung an vorherige Arbeiten trainieren die Autoren lineare logistische Regressionsproben in jeder Schicht eines vortrainierten VideoMAE, um physikalische Plausibilität (möglich vs. unmöglich) vorherzusagen. Sie identifizieren die PEZ als Cluster von Schichten (insbesondere Schichten 0–5, mit einem Peak bei Schicht 5), in denen die Genauigkeit der Proben nahezu ihren Höchstwert erreicht.
CAV-Extraktion:
Für jede Schicht innerhalb der PEZ wird der Gewichtungsvektor ( $w_l$ ) der trainierten linearen Probe extrahiert und normalisiert, um den Physik-CAV ( $v_l$ ) zu bilden. Dieser Vektor definiert eine Richtung im Repräsentationsraum, die mit „physikalisch unmöglichen" Szenarien assoziiert ist. Um Fälle zu handhaben, in denen die Anzahl der Trainingsstichproben kleiner als die Merkmalsdimension ist, wenden die Autoren PCA und eine Richtungs-Flip-Prüfung an, um sicherzustellen, dass der Vektor korrekt mit dem Konzept ausgerichtet ist.
Intervention zur Inferenzzeit:
Während der Inferenz modifiziert die Methode die verborgenen Zustände von Patch-Tokens in einer Zielschicht $l^*$ , indem sie eine skalierte Version des CAV hinzufügt:
$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$
wobei $\alpha$ ein Steuerungsstärke-Parameter ist.
- $\alpha > 0$ : Verschiebt die Repräsentation in Richtung „physikalisch unmöglich".
- $\alpha < 0$ : Verschiebt die Repräsentation in Richtung „physikalisch möglich".
- $\alpha = 0$ : Basislinie (keine Änderung).
Die Intervention wird auf die verborgenen Zustände des Encoders angewendet; da VideoMAE ein Encoder ist, verändert die Methode nachgelagerte, physik-sensible Vorhersagen, anstatt direkt Pixelraum-Videoframes zu generieren.
Bewertungsmetriken:
Die Wirksamkeit der Steuerung wird gemessen mittels:
- Flip-Rate (FR): Der Anteil der Testvideos, deren Klassifizierung sich im Vergleich zur Basislinie ändert.
- Score Delta ( $\Delta P$ ): Die mittlere Änderung der Wahrscheinlichkeit, „unmöglich" zu sein.
- Richtungspurity (DP): Die Kosinus-Ähnlichkeit zwischen der beobachteten Repräsentationsverschiebung und der beabsichtigten CAV-Richtung.
- Repräsentationsdrift (RD): Die Größe der Verschiebung im Repräsentationsraum.

Hauptbeiträge

Physiksteuerung mit CAVs: Die Autoren zeigen, dass lineare Probergewichte in PEZ-Schichten interpretierbare Steuerungsrichtungen liefern. Das Einbringen dieser Vektoren ermöglicht eine bidirektionale Kontrolle der physikalischen Urteile des Modells (Treiber von $P(\text{unmöglich})$ auf 1,0 oder 0,0), ohne die Modellgewichte zu aktualisieren.
Schichtspezifische Interventionsanalyse: Durch das Einbringen desselben Vektors in verschiedenen Schichten zeigen die Autoren, dass der Steuerungseffekt strikt auf die PEZ und frühere Schichten lokalisiert ist. Interventionen in den Schichten 6–11 resultieren in einer Flip-Rate von 0,00, was bestätigt, dass die relevante Physikrepräsentation innerhalb der PEZ etabliert und zugänglich ist.
Unterraum-Orthogonalität: Die Studie misst den Winkel zwischen dem Physik-CAV und dem Unterraum der Bewegungsrichtung und findet eine Orthogonalität von 90,0°. Dies stützt die Hypothese, dass Physik und Bewegung in separaten, nicht interferierenden Unterräumen kodiert sind.
Schätzung der intrinsischen Dimensionalität: Durch iteratives orthogonales Proben-Training stellen die Autoren fest, dass der Physik-Unterraum an der PEZ von ungefähr 2–3 Richtungen dominiert wird. Diese niedrige Dimensionalität erklärt, warum ein Steuerungsansatz mit einem einzelnen Vektor hochwirksam ist.
Prinzip-spezifische Steuerung: Separate CAVs, die für unterschiedliche intuitive Physikprinzipien (Objektbeständigkeit, Kontinuität und Solidität) trainiert wurden, erweisen sich als nahezu orthogonal (z. B. 86,1° zwischen Kontinuität und Solidität), was darauf hindeutet, dass spezifische physikalische Prinzipien unabhängig gesteuert werden können.

Ergebnisse

Experimente wurden am IntPhys-Benchmark unter Verwendung eines eingefrorenen VideoMAE-base-Modells durchgeführt.

Steuerungswirksamkeit: An der primären PEZ-Schicht (Schicht 5) führt die Steuerung mit $|\alpha| \ge 5$ zuverlässig zur Sättigung des Urteils des Modells. Positive Steuerung treibt $P(\text{unmöglich})$ auf 1,0, während negative Steuerung es auf 0,0 treibt. Die Richtungspurity erreicht an der Injektionsschicht 1,00, was auf eine hochstrukturierte Intervention hindeutet.
Lokalisierung: Der Effekt ist strikt schichtabhängig. Das Einbringen des PEZ-trainierten CAV in die Schichten 6–11 erzeugt keine Änderung im Physikurteil, das an Schicht 5 gemessen wird, was bestätigt, dass die Physikrepräsentation auf die PEZ und frühere Schichten lokalisiert ist.
Geometrie: Der Physik-CAV ist orthogonal zur Bewegungsrichtung (90,0°), ein höherer Trennungsgrad als bisher berichtet (69–83°). Dies legt nahe, dass die Steuerung der Physik die Bewegungsrepräsentationen nicht inhärent stört.
Entflechtung: Unterschiedliche Physikprinzipien (O1, O2, O3) besetzen unterschiedliche Richtungen innerhalb des PEZ-Raums, wobei O2 und O3 nahezu orthogonal sind, was eine prinzip-spezifische Kontrolle ermöglicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass physikalisches Schlussfolgern in VideoMAE nicht nur lesbar (mittels linearer Proben) ist, sondern auch zur Inferenzzeit direkt steuerbar. Durch die Identifizierung einer lokalisierten Physik-Entstehungszone und die Nutzung von CAVs bieten die Autoren eine Methode, die physikalischen Erwartungen eines Modells ohne Nachtraining, Feinabstimmung oder architektonische Änderungen zu steuern.

Die Bedeutung liegt in:

Kausale Kontrolle: Über den Nachweis von Korrelation hinaus wird gezeigt, dass das Eingreifen in spezifische Repräsentationsschichten die physikalischen Plausibilitätsurteile des Modells kausal verändert.
Von Interpretierbarkeit zu Aktion: Überbrückung der Lücke zwischen mechanistischer Interpretierbarkeit (Herausfinden, wo Wissen liegt) und Repräsentationsengineering (Nutzung dieses Wissens zur Steuerung des Verhaltens).
Sicherheit und Evaluation: Die Methode bietet einen Weg, Weltmodelle systematisch zu testen, indem physikalisch unmögliche Szenarien generiert werden, ohne neue Datensammlung zu erfordern, was für die KI-Sicherheitsevaluation wertvoll ist.

Die Autoren halten einen bescheidenen Umfang, indem sie feststellen, dass die Methode zwar die internen Repräsentationen des Encoders steuert, die Erzeugung gesteuerter Pixelraum-Videoframes jedoch eine Kopplung der Methode mit einem Decoder erfordert, was als zukünftige Arbeit zurückgestellt wird. Sie betonen zudem, dass die Existenz einer PEZ in anderen Architekturen (z. B. DINOv2, Stable Video Diffusion) eine offene empirische Frage bleibt.