Technische Samenvatting: AEGIS – Een Backup-reflex voor Fysieke AI

1. Probleemstelling

Long-horizon robotmanipulatiebeleid (policies) faalt vaak niet abrupt, maar door een "langzame spiraal". Een enkele slecht getimede actie duwt het systeem uit de distributie, waardoor fouten zich opstapelen totdat de trajectorie een onherstelbaar falen-bekken binnentreedt. Hoewel de waarschuwingssignalen van dit aanstaande falen lang voordat de crash zichtbaar zijn in de interne toestanden van het beleid, missen huidige methoden een runtime-mechanisme om effectief op deze signalen te handelen.

Bestaande benaderingen vallen uiteen in twee incomplete categorieën:

1. Alleen detectie (Detect-only): Methoden zoals SAFE voorspellen falen met hoge nauwkeurigheid, maar stoppen enkel de uitvoering of dragen over aan een mens, zonder enige vorm van herstel te bieden.
2. Herstel binnen het beleid (Recover-within-policy): Methoden zoals HELM of Pre-VLA proberen te herstellen door te resamplen, te herplannen of terug te keren naar een eerdere staat met behulp van hetzelfde falende beleid.

De geïdentificeerde kloof is de afwezigheid van een runtime-autorisatielaag die naderend falen kan detecteren en de controle kan escaleren naar een sterker, apart beleid voordat de fout zich oploopt, zonder de computationele kosten te dragen van het continu draaien van dat sterkere beleid.

2. Methodologie: AEGIS

AEGIS (Activation-probe Early-warning, Gated Inference Switching) adresseert deze kloof door een goedkoop, ingezet beleid in staat te stellen zijn eigen bevroren interne activaties te lezen als een vroegtijdig waarschuwingssignaal en selectief de controle over te dragen aan een meer capabel beleid.

Kerncomponenten

• Bevroren Interne Probe: Een lichtgewicht, twee-laagse MLP-probe die offline wordt getraind op de bevroren activaties van het ingezette "zwakke" beleid (specifiek de action-expert layer-15 self-attention output projectie). Het leest een risicoscore ($s_t$) per stap uit de verborgen toestanden van het zwakke beleid.
• Early-Window Voorspelling: De probe wordt getraind en geëvalueerd op slechts de eerste 30% van een traject ($t \le 0.30T$) om te garanderen dat het falen voorspelt voordat het traject het punt van geen terugkeer passeert.
• Conformal Trigger & Gates:
  • Conformal Drempelwaarde: Een split-conformal kalibratie stelt een tijdvariërende drempelwaarde ($\delta_t$) in om de vals-positieve frequentie ($\alpha = 0.10$) te controleren.
  • Early-Harm Gate: Escalatie wordt onderdrukt vóór $t_{min} = 0.20T$ om te voorkomen dat trajecten die succesvol zouden zijn worden verstoord (het aanpakken van de "interventie-paradox").
  • Budget Cap: Een per episode vastgestelde limiet ($K_{max}$) beperkt het aantal escalatiegebeurtenissen, wat ervoor zorgt dat het sterkere beleid niet overmatig wordt gebruikt.
• Escalatie Handoff: Wanneer de gate afvuurt, schakelt de controle bij de volgende action-chunk grens over naar een sterker, apart bevroren beleid ($\pi_s$). Het sterkere beleid wordt gedurende een minimale duur vastgehouden (hysteresis) om chattering te voorkomen.
• Architectuur: Het systeem draait beide beleid in één enkele container om latentie te minimaliseren. Het zwakke beleid blijft op de achtergrond draaien om probe-scores te leveren voor de-escalatiebeslissingen.

Experimenteel Ontwerp

De auteurs hanteren een vier-arm factorieel ontwerp met Common Random Numbers (CRN) om causale identificatie te waarborgen:

• Arm A (Alleen-zwak): Baseline.
• Arm B (Doelgericht): AEGIS escalatie.
• Arm C (Budget-gematcht-blind): Escaleert hetzelfde aantal stappen als B, maar wordt blind gekozen (zonder signaal), om de waarde van selectiviteit versus brute rekenkracht te isoleren.
• Arm D (Random-trigger): Escaleert met dezelfde frequentie als B, maar op willekeurige stappen, om de waarde van de signaalinformatie te isoleren.

3. Belangrijkste Bijdragen

1. Een Nieuw Runtime-probleem: Het definiëren van de uitdaging van wanneer een goedkoop beleid een sterker een moet oproepen om cumulerend falen te voorkomen, in plaats van te reageren nadat het falen is opgetreden.
2. Een Concreet Mechanisme: Een training-vrij, frozen-probe systeem dat stap-niveau escalatie reguleert naar een distinct, sterker beleid met conformal triggers en veiligheidsgates.
3. Causaal Bewijs van Selectiviteit: Door de methode te vergelijken met budget-gematchte blinde en willekeurige controles, toont het artikel aan dat de winst in herstel komt van de timing (selectiviteit), en niet louter van het uitgeven van extra rekenkracht.
4. Gemeten Trade-offs: Het kwantificeren van de herstelratio tegenover de duty cycle van het sterkere beleid, waarbij wordt aangetoond dat selectieve escalatie de herstelratio kan verdubbelen ten opzichte van gematchte-budget baselines.

4. Resultaten

De methode werd geëvalueerd op de LIBERO-Spatial benchmark (10 taken, 700 episodes per arm, $n_{A-fail}=646$).

• Herstelratio: AEGIS (Arm B) herstelde 10,1% van de trajecten waarin het zwakke beleid alleen zou falen.
• Vergelijking met Controles:
  • vs. Blind Escalatie (Arm C): AEGIS herstelde 5,4 procentpunten meer (10,1% vs. 4,6%), met $p = 8,5 \times 10^{-6}$.
  • vs. Random Trigger (Arm D): AEGIS herstelde 5,0 procentpunten meer (10,1% vs. 5,1%), met $p = 1,0 \times 10^{-4}$.
• Efficiëntie: Het sterkere beleid was actief op slechts 38% van de stappen (duty cycle). Ondanks dit behaalde AEGIS ongeveer twee keer zoveel herstel als de budget-gematchte controles.
• Signaalkwaliteit: De early-window AUROC van de probe was 0,764 (95% CI [0,70, 0,84]), waarmee de vooraf geregistreerde voorwaarde van 0,75 werd gehaald.
• Robuustheid: De resultaten hielden stand over verschillende moeilijkheidsgraden (Easy, Medium, Hard), hoewel het voordeel ten opzichte van blinde escalatie kleiner werd in het Hard-stratum, waar zelfs het sterke beleid een beperkte herstelmarge heeft.
• Generalisatie: Het effect bleef bestaan wanneer er werd geëscaleerd naar een andere beleidsfamilie (GR00T N1.7), wat suggereert dat het mechanisme een eigenschap is van het escaleren naar een sterker, apart beleid en niet van een specifiek modelpaar.

5. Betekenis en Claims

Het artikel claimt dat timing het actieve ingrediënt is, niet brute rekenkracht. Een robotbeleid kan zijn eigen bevroren activaties lezen als een vroegtijdig waarschuwingssignaal en een sterker beleid oproepen voordat het falen cumuleert, waardoor het twee keer zoveel fouten herstelt als gematchte-budget escalatie.

De auteurs benadrukken dat dit een runtime-autorisatie oplossing is. Het vult de kloof tussen detectie en actie door een systeem in staat te stellen om "bijstand in te roepen" alleen wanneer dat nodig is. Het artikel vermijdt expliciet de claim dat accurate voorspelling alleen al nut garandeert; in plaats daarvan vertrouwt het op de causale controles (blind en random triggers) om te bewijzen dat de selectiviteit van de escalatie de drijvende kracht achter het herstel is.

Het werk wordt geframed als een "backup-reflex" voor Fysieke AI, die het mogelijk maakt om goedkopere, snellere beleid te implementeren voor de meerderheid van de operaties, terwijl dure, frontier modellen selectief worden ingeroepen wanneer de interne toestand wijst op een aanstaande spiraal naar falen. De auteurs merken op dat deze aanpak een "altijd-sterk" beleid in ruwe herstelkracht niet overtreft (wat verwacht is gezien de computationele kosten), maar dat het een superieur herstel-versus-rekenkracht evenwicht bereikt.