Technische Samenvatting: HALO – History-Aware Visuomotor Policy voor Long-Horizon Robotische Imitatie-leren

1. Probleemstelling

Algemene robots die opereren in gedeeltelijk observeerbare omgevingen (bijv. huishoudens) moeten langdurige manipulatietaken uitvoeren die het herinneren van informatie vereisen die niet langer aanwezig is in de huidige sensorische input. Voorbeelden hiervan zijn het onthouden van objectlocaties, het bijhouden van numerieke aantallen, het herinneren van de timing van gebeurtenissen, of het begrijpen van relationele veranderingen tussen objecten.

Standaard reactieve visuomotorische policies falen in deze scenario's omdat ze geen geheugen hebben. Hoewel bestaande benaderingen proberen dit aan te pakken via handmatig ontworpen geheugenrepresentaties, modaliteit-specifieke retrieval-regels of gelede compressie (bijv. latente staat-samenvattingen), worstelen zij vaak met generaliseerbaarheid. Ze leunen op taakspecifieke aannames die de schaalbaarheid over diverse manipulatietaken beperken.

Het direct toepassen van aandacht-gebaseerde geheugenretrieval (bijv. Transformers) op offline imitatie-leren introduceert twee fundamentele uitdagingen:

1. Spurieuze Correlaties: De policy kan leren te letten op historische observaties die correleren met expertgedrag in de trainingsdata, maar die niet causaal relevant zijn voor de uitvoering van de taak, wat leidt tot slechte generalisatie tijdens de testfase.
2. Foutaccumulatie en Modeldrift: Tijdens closed-loop executie stapelen kleine voorspellingsfouten zich in de loop van de tijd op. Het conditioneren op grote hoeveelheden ruisgevoelige historische informatie kan deze fouten versterken, wat leidt tot cascadefouten en modeldrift over lange horizonten.

2. Methodologie: HALO

De auteurs stellen HALO voor (History-Aware visuomotor policy for LOng-horizon robotic imitation learning), een framework ontworpen om end-to-end uitvoering van taken mogelijk te maken die tot acht minuten duren door relevante informatie uit de historie op te halen. De kerninzicht is dat hoewel aandacht een algemeen retrieval-mechanisme biedt, het gestuurd moet worden naar taakrelevante informatie en beperkt moet worden om te voorkomen dat er geconditioneerd wordt op irrelevante of ruisgevoelige historie.

A. Architectuur Overzicht

HALO parametriseert een visuomotorische policy $\pi_\theta(a_t | \tau_t, l)$ met drie hoofdonderdelen:

1. Encoders: Modaliteit-specifieke encoders ($g_{obs}$, $g_{act}$) mappen heterogene inputs (RGB, proprioceptie, eerdere acties) naar een gemeenschappelijke latente ruimte.
2. Policy Backbone: Een Transformer-gebaseerde backbone ($f_\theta$) voert geheugenretrieval uit over de gecodeerde historie $M_t$ en verwerkt de informatie.
3. Prediction Heads: Een taakspecifieke actie-head ($h_{act}$) voorspelt laag-niveau controlecommando's, en een tekst-voorspellingshead ($h_{text}$) biedt aanvullende supervisie.

B. Kernmechanismen

1. Distillatie van VLM Priors via Video Question-Answering (VQA)

Om spurieuze correlaties te mitigeren, maakt HALO gebruik van Vision-Language Models (VLMs) om priors te distilleren over welke historische informatie taakrelevant is.

• Mechanisme: De policy wordt co-getraind om zowel expertacties te imiteren als vragen te beantwoorden over de traject-historie.
• VQA Generatie: Een multi-stage pipeline genereert hoogwaardige VQA-paren uit long-horizon trajecten. Dit omvat:
  1. Trajectory-to-text summarization: Het combineren van objectdetectoren en VLMs om tekstuele beschrijvingen van scène-elementen en activiteiten te creëren.
  2. Question synthesis: Een LLM genereert vragen die specifieke geheugenvereisten beproeven (bijv. objectlocaties, volgorde van gebeurtenissen) gekoppeld aan specifieke frames.
  3. Verificatie: Een LLM-verifieerder filtert onjuiste of zwak relevante paren eruit.
• Trainingsdoel: De policy minimaliseert een gezamenlijke loss: $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$. De VQA-doelstelling dwingt de retrieval-module om te letten op specifieke delen van de historie waar taakrelevante gebeurtenissen plaatsvonden, wat directe supervisie biedt op wat er geretriept moet worden.

2. Top-k Attention Sparsificatie

Om de impact van geaccumuleerde fouten tijdens closed-loop controle te verminderen, beperkt HALO de policy tot het conditioneren op slechts een spaars subset van de opgeslagen informatie.

• Mechanisme: In plaats van te letten op de volledige historie, berekent de policy query-key gelijkenissen en selecteert alleen de top-$k$ meest relevante geheugenelementen.
• Training: Een straight-through estimator wordt gebruikt om de niet-differentieerbare top-k operatie te verwerken. Gradiënten versterken de selectie van entries die de actievoorspelling of VQA-nauwkeurigheid verbeteren, terwijl irrelevante entries worden afgewogen.
• Voordeel: Dit beperkt de invloed van ruisgevoelige informatie, wat modeldrift vermindert en cascadefalen mitigeert.

3. Belangrijkste Bijdragen

• Generiek Geheugenretrieval: Introduceert een geleerd, end-to-end geheugenretrieval mechanisme dat taakspecifieke aannames of handmatig ontworpen regels vermijdt.
• VQA-gestuurde Retrieval: Stelt het gebruik van automatisch gegenereerde Video Question-Answering supervisie voor om de aandacht te sturen naar taakrelevante informatie, waardoor VLM-priors effectief worden overgedragen naar de visuomotorische policy.
• Sparse Attention voor Robuustheid: Demonstreert dat top-k sparsificatie effectief modeldrift vermindert tijdens long-horizon closed-loop controle door ruis te filteren.
• Uitgebreide Evaluatie: Valideert de aanpak op de REMEMBENCH benchmark en vijf real-world taken over twee robotplatforms (fixed-base en mobiele manipulatoren).

4. Experimentele Resultaten

Simulatie (REMEMBENCH)

Geëvalueerd op taken die ruimtelijke, relationele, numerieke en temporele geheugeneisen hebben:

• Algemene Prestaties: HALO bereikte een gemiddeld succespercentage van 41%, waarmee het de Standard Transformer (22%), SAM2Act++ (20%), ReMemBer (18%) en Hand-Designed Features (29%) overtrof.
• Ablatie-studies:
  • Het verwijderen van VQA-supervisie verminderde het gemiddelde succes met 10% (naar 31%), wat het belang van VLM-priors voor het identificeren van relevante historie benadrukt.
  • Het verwijderen van top-k sparsificatie (gebruik van full attention) verminderde de prestaties met 9%, wat de rol ervan bij het verminderen van drift bevestigt.
  • Co-training van VQA en actievoorspelling presteerde beter dan een pretrain-then-finetune aanpak met 20% (64% vs. 44%), wat suggereert dat gezamenlijke training cruciaal is voor het effectief vormgeven van retrieval.
• Vergelijkingen: HALO presteerde beter dan alternatieve sparsificatiemethoden (window, strided, hierarchical, gated attention) en non-associatieve geheugenmodellen (LSTM, Mamba, Transformer-XL).

Real-World Evaluatie

Geëvalueerd op vijf real-world taken (inclusief mens-robot samenwerking):

• HALO bereikte een gemiddeld succespercentage van 55%, vergeleken met 36% voor de Standard Transformer baseline.
• Opmerkelijke verbeteringen werden waargenomen in uitdagende long-horizon taken, zoals het verwarmen van een kookplaat gedurende maximaal acht minuten en het opslaan van meerdere objecten.
• Analyse van de "Retrieve Object" taak toonde aan dat HALO manipulatiefouten met 8% en geheugenfouten met 25% verminderde vergeleken met de baseline.

5. Betekenis en Claims

Het artikel claimt dat HALO een algemene oplossing biedt voor long-horizon controle in gedeeltelijk observeerbare omgevingen door direct uit data te leren hoe taakrelevante informatie geretriept moet worden.

• Veelzijdigheid: In tegen tegenstelling tot eerdere methoden die vertrouwen op vaste representaties (bijv. object-gecentreerd) of tekstuele samenvattingen, past HALO zich aan diverse informatietypen aan (ruimtelijk, numeriek, temporeel) zonder handmatige engineering.
• Noodzaak van Grounding: De auteurs benadrukken dat hoewel VLM-priors nuttig zijn voor het selecteren van relevante informatie, zij op zichzelf onvoldoende zijn voor laag-niveau controle (bereikten slechts 18% succes zonder actie-grounding). De combinatie van VLM-gestuurde retrieval en actie-gegronde imitatie is cruciaal.
• Robuustheid: Het werk demonstreert dat selectieve retrieval via top-k sparsificatie een praktische en effectieve strategie is om de cumulatieve fouten die inherent zijn aan long-horizon closed-loop executie te mitigeren.

De auteurs concluderen dat hun aanpak betrouwbare controle mogelijk maakt over uitgebreide tijdsperioden (tot acht minuten) door een balans te vinden tussen de behoefte aan rijke historische context en de noodzaak om ruis en irrelevante correlaties te filteren. Toekomstig werk wordt voorgesteld om actieve query-strategieën en cross-episodisch geheugenleren te verkennen.