Technisches Resümee: AEGIS – Ein Backup-Reflex für Physische KI

1. Problemstellung

Langfristige Roboter-Manipulations-Policies versagen oft nicht abrupt, sondern durch eine „langsame Spirale“. Eine einzige falsch getimte Aktion drängt das System aus der Verteilung (off-distribution), wodurch sich Fehler summieren, bis die Trajektorie in ein unumkehrbares Versagensbecken gerät. Während die Warnzeichen dieses drohenden Versagens in den internen Zuständen der Policy lange vor dem Absturz sichtbar sind, mangelt es aktuellen Methoden an einem Laufzeitmechanismus, um effektiv auf diese Signale zu reagieren.

Bestehende Ansätze fallen in zwei unvollständige Kategorien:

1. Nur Detektion (Detect-only): Methoden wie SAFE sagen Versagen mit hoher Genauigkeit voraus, führen aber lediglich einen Stopp der Ausführung oder eine Übergabe an einen Menschen durch, ohne eine Erholung (Recovery) anzubieten.
2. Innerhalb der Policy regenerieren (Recover-within-policy): Methoden wie HELM oder Pre-VLA versuchen, durch Resampling, Replanning oder Backtracking unter Verwendung derselben versagenden Policy zu regenerieren.

Die identifizierte Lücke ist das Fehlen einer Laufzeit-Autorisierungsschicht (runtime authorization layer), die in der Lage ist, ein drohendes Versagen zu erkennen und die Kontrolle an eine stärkere, separate Policy zu übergeben, bevor der Fehler kumuliert, ohne dabei die Rechenkosten zu verursachen, die mit dem kontinuierlichen Betrieb der stärkeren Policy verbunden wären.

2. Methodik: AEGIS

AEGIS (Activation-probe Early-warning, Gated Inference Switching) adressat diese Lücke, indem es eine kostengünstige, eingesetzte Policy ermöglicht, ihre eigenen gefrorenen internen Aktivierungen als Frühwarnsignal zu lesen und die Kontrolle selektiv an eine leistungsfähigere Policy zu übergeben.

Kernkomponenten

• Gefrorene interne Sonde (Frozen Internal Probe): Eine leichtgewichtige, zweilagige MLP-Sonde, die offline auf den gefrorenen Aktivierungen der eingesetzten „schwachen“ Policy trainiert wird (speziell auf der Action-Expert Layer-15 Self-Attention Output Projection). Sie liest einen pro Schritt berechneten Risikoscore ($s_t$) aus den Hidden States der schwachen Policy.
• Frühzeitiges Zeitfenster (Early-Window Prediction): Die Sonde wird nur auf den ersten 30 % einer Trajektorie ($t \le 0.30T$) trainiert und evaluiert, um sicherzustellen, dass sie das Versagen vorhersagt, bevor die Trajektorie den Punkt des nicht mehr umkehrbaren Scheiterns überschreitet.
• Konformitäts-Trigger & Gates:
  • Konformitäts-Schwellenwert (Conformal Threshold): Ein Split-Conformal-Kalibrierungsverfahren setzt einen zeitvariablen Schwellenwert ($\delta_t$), um die Fehlalarmrate ($\alpha = 0.10$) zu kontrollieren.
  • Frühwarn-Gate (Early-Harm Gate): Die Eskalation wird vor $t_{min} = 0.20T$ unterdrückt, um Trajektorien nicht zu stören, die erfolgreich verlaufen würden (Adressierung des „Interventions-Paradoxons“).
  • Budget-Deckelung (Budget Cap): Eine pro Episode festgelegte Obergrenze ($K_{max}$) begrenzt die Anzahl der Eskalationsereignisse, um sicherzustellen, dass die stärkere Policy nicht übermäßig genutzt wird.
• Eskalations-Übergabe (Escalation Handoff): Wenn das Gate feuert, wechselt die Kontrolle an der nächsten Action-Chunk-Grenze zu einer stärkeren, separaten gefrorenen Policy ($\pi_s$). Die stärkere Policy wird für eine Mindestdauer (Hysterese) gehalten, um ein Flattern (Chattering) zu verhindern.
• Architektur: Das System läuft in einem einzigen Container, um die Latenz zu minimieren. Die schwache Policy läuft im Hintergrund weiter, um die Probe-Scores für De-Eskalationsentscheidungen zu liefern.

Experimentelles Design

Die Autoren verwenden ein Vier-Arm-Faktorielles Design unter Verwendung von Common Random Numbers (CRN), um eine kausale Identifikation zu gewährleisten:

• Arm A (Nur Schwach): Baseline.
• Arm B (Zielgerichtet): AEGIS-Eskalation.
• Arm C (Budget-gepaart-blind): Eskaliert dieselbe Anzahl an Schritten wie Arm B, jedoch ohne Signal (blind), um den Wert von Selektivität gegenüber roher Rechenleistung zu isolieren.
• Arm D (Zufalls-Trigger): Eskaliert mit der gleichen Rate wie Arm B, aber auf zufälligen Schritten, um den Wert der Signalinformation zu isolieren.

3. Zentrale Beiträge

1. Ein neues Laufzeitproblem: Definition der Herausforderung, wann eine günstige Policy eine stärkere Policy anfordern sollte, um ein kumulierendes Versagen zu verhindern, anstatt erst nach dem Eintritt des Versagens zu reagieren.
2. Ein konkreter Mechanismus: Ein trainingsfreies, Frozen-Probe-System, das die schrittweise Eskalation zu einer anderen, stärkeren Policy mittels Konformitäts-Triggern und Safety-Gates steuert.
3. Kausaler Beweis der Selektivität: Durch den Vergleich mit budget-gepaarten blinden und zufälligen Kontrollen demonstriert die Arbeit, dass der Gewinn bei der Regeneration aus dem Timing (Selektivität) resultiert und nicht bloß aus dem Einsatz zusätzlicher Rechenleistung.
4. Messbare Trade-offs: Quantifizierung der Regenerationsrate gegen den Duty Cycle der stärkeren Policy, was zeigt, dass selektive Eskalation die Regenerationsraten gegenüber budget-gepaarten Baselines verdoppeln kann.

4. Ergebnisse

Die Methode wurde auf dem LIBERO-Spatial Benchmark evaluiert (10 Aufgaben, 700 Episoden pro Arm, $n_{A-fail}=646$).

• Regenerationsrate (Recovery Rate): AEGIS (Arm B) regenerierte 10,1 % der Trajektorien, bei denen die schwache Policy allein versagt hätte.
• Vergleich mit Kontrollgruppen:
  • vs. Blinde Eskalation (Arm C): AEGIS regenerierte 5,4 Prozentpunkte mehr (10,1 % vs. 4,6 %), mit $p = 8,5 \times 10^{-6}$.
  • vs. Zufalls-Trigger (Arm D): AEGIS regenerierte 5,0 Prozentpunkte mehr (10,1 % vs. 5,1 %), mit $p = 1,0 \times 10^{-4}$.
• Effizienz: Die stärkere Policy war in nur 38 % der Schritte aktiv (Duty Cycle). Trotz dessen erreichte AEGIS etwa die doppelte Regeneration der budget-gepaarten Kontrollen.
• Signalqualität: Der Early-Window AUROC der Sonde lag bei 0,764 (95 % KI [0,70, 0,84]) und übertraf damit die vorregistrierte Voraussetzung von 0,75.
• Robustheit: Die Ergebnisse hielten über verschiedene Schwierigkeitsgrade (Easy, Medium, Hard) stand, wobei sich der Vorteil gegenüber der blinden Eskalation im „Hard“-Segment abschwächte, wo selbst die starke Policy nur noch geringe Regenerationsspielräume hat.
• Generalisierung: Der Effekt blieb bestehen, wenn die Eskalation auf eine andere Policy-Familie (GR00T N1.7) erfolgte, was darauf hindeutet, dass der Mechanismus eine Eigenschaft des Aufrufs einer stärkeren, separaten Policy ist und nicht an ein spezifisches Modellpaar gebunden ist.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass das Timing die entscheidende Zutat ist, nicht die rohe Rechenleistung. Eine Roboter-Policy kann ihre eigenen gefrorenen Aktivierungen als Frühwarnsignal lesen und eine stärkere Policy anfordern, bevor das Versagen kumuliert, wodurch sie doppelt so viele Fehler regeneriert wie die budget-gepaarte Eskalation.

Die Autoren betonen, dass dies eine Lösung zur Laufzeit-Autorisierung (Runtime Authorization) ist. Sie schließt die Lücke zwischen Detektion und Aktion, indem sie ein System ermöglichen, „Unterstützung anzufordern“, aber nur wenn es notwendig ist. Die Arbeit vermeidet explizit den Anspruch, dass eine präzise Vorhersage allein die Nützlichkeit garantiert; stattdessen stützt sie sich auf die kausalen Kontrollen (blinde und zufällige Trigger), um zu beweisen, dass die Selektivität der Eskalation der eigentliche Treiber der Regeneration ist.

Das Werk wird als „Backup-Reflex“ für Physische KI gerahmt, der es ermöglicht, günstige, schnelle Policies für den Großteil der Operationen einzusetzen und teure Frontier-Modelle nur dann selektiv aufzurufen, wenn der interne Zustand auf ein drohendes Abgleiten in ein Versagen hindeutet. Die Autoren merken an, dass dieser Ansatz einer „Always-Strong“-Policy in der reinen Regeneration nicht überlegen ist (was zu erwarten ist, angesichts der Rechenkosten), aber ein überlegenes Verhältnis von Regeneration zu Rechenaufwand erreicht.