BPP: Long-Context Robot Imitation Learning by Focusing on Key History Frames

Probleemstelling: De Uitdaging van Langere Context in Robot Immitatie Learning

Veel robottaken vereisen dat het systeem naar het verleden kijkt om succesvol te handelen (bijvoorbeeld: onthouden welke kastjes al zijn gecontroleerd of hoeveel ingrediënten er al zijn toegevoegd). Bestaande robotbeleidspolitieken (policies) conditioneren echter vaak alleen op de huidige observatie of een kort tijdsvenster, wat hen beperkt tot Markov-taken.

Het naïef toevoegen van volledige observatiegeschiedenissen aan het beleid leidt vaak tot slechtere prestaties. De auteurs identificeren de kernoorzaak hiervan als een dekkingsprobleem (coverage problem):

• De ruimte van mogelijke observatiegeschiedenissen groeit exponentieel met de horizon van de taak.
• Tijdens het verzamelen van trainingsdata (vaak via menselijke tele-operatie) is het onmogelijk om alle mogelijke geschiedenissen te dekken.
• Hierdoor leren beleidsmodellen spurious correlations (schijnbare correlaties): ze plakken zich vast aan toevallige kenmerken van de trainingsgeschiedenis die niet generaliseren naar nieuwe situaties tijdens de implementatie (deployment).
• Bestaande oplossingen, zoals regularisatie of auxiliary loss-functies (bijv. het voorspellen van ground-truth staten), loss dit fundamentele dekkingsprobleem niet op en kunnen de prestaties zelfs verslechteren door de afhankelijkheid van deze schijnbare correlaties te versterken.

Methodologie: Big Picture Policies (BPP)

De auteurs stellen Big Picture Policies (BPP) voor, een methode die de representatie van de geschiedenis verandert in plaats van het leeralgoritme zelf. In plaats van te conditioneren op de volledige reeks van ruwe observaties, conditioneert BPP op een minimale set van betekenisvolle "keyframes".

Kerncomponenten van BPP:

1. Semantische Keyframes: In plaats van uniforme subsampling van het verleden, worden alleen tijdstippen geselecteerd die overeenkomen met behavioraal opvallende gebeurtenissen (bijv. "een object is gegrepen", "een lade is geopend", "een knop is ingedrukt").
2. Gebruik van Vision-Language Models (VLM): Een kant-en-klaar VLM (in dit geval Gemini 3 Pro) fungeert als een detector. Het beantwoordt eenvoudige vragen over de observatie (bijv. "Is er een nieuwe lade geopend?") om te bepalen of een frame een keyframe is.
3. Detectie van "Rising Edges": Om redundante frames te voorkomen, wordt een keyframe alleen gedefinieerd bij de start van een gebeurtenis (wanneer de detector van 0 naar 1 schakelt).
4. Latency-Masking: Omdat VLM's vertraging hebben (in dit paper ~3-5 seconden), wordt tijdens het trainen een "latency-mask" toegepast. Het beleid ziet alleen de keyframes die voor de huidige tijd minus de vertraging zijn gedetecteerd. Dit zorgt ervoor dat het beleid leert te handelen onder realistische omstandigheden.
5. Architectuur: Het beleid (een Diffusion Transformer) wordt getraind op de huidige observatie plus de verzameling van beschikbare keyframes, in plaats van de volledige geschiedenis.

Belangrijkste Bijdragen

1. Identificatie van het Dekkingsprobleem: De auteurs tonen aan dat het falen van geschiedenis-geconditioneerde imitatie learning voornamelijk wordt veroorzaakt door onvoldoende dekking van de ruimte van mogelijke geschiedenissen, en niet door beperkingen in de modelarchitectuur. Ze laten zien dat regularisatie-technieken inconsistent werken en het fundamentele probleem niet oplossen.
2. Introductie van BPP: Een eenvoudige maar effectieve methode die VLM's gebruikt om de inputruimte te comprimeren tot een kleine set semantisch relevante gebeurtenissen. Dit verhoogt de overlap tussen trainings- en test-inputs en vermindert de distributiestijging (distribution shift).
3. Empirische Validatie: Uitgebreide evaluatie op vier uitdagende real-world taken (met een bimanuele ALOHA 2 robot) en drie simulatietaken, allemaal met een lange horizon en vereisten voor geheugen.

Resultaten

De resultaten tonen een aanzienlijke verbetering van BPP ten opzichte van state-of-the-art baselines:

• Real-World Prestaties: BPP bereikt een 70% hogere succesrate dan de beste bestaande methode (Past-Token Prediction - PTP) in real-world evaluaties.
  • Voorbeeld: Bij de "Drawer Search" taak (zoeken naar een sleutel in laden) behaalde BPP 33,3% succes, terwijl naïeve geschiedenis-conditionering en PTP 0% haalden.
  • Bij "Marshmallows" (twee handvol marshmallows toevoegen) behaalde BPP 65% succes tegenover 25% voor naïeve geschiedenis.
• Robuustheid: BPP toont een veel robuustere progressie-tracking. Het vermijdt repetitieve fouten (zoals het herhaaldelijk openen van dezelfde lade) en past zich beter aan aan afwijkingen van de expert-data.
• Simulatie Resultaten: BPP presteert beter dan alle niet-orakel methoden en overtreft in sommige gevallen zelfs het "Oracle" (een beleid dat toegang heeft tot de ware toestand van de wereld), wat suggereert dat de keyframe-representatie beter leert dan de ruwe toestand.
• Data Efficiency: BPP bereikt sterke prestaties met aanzienlijk minder trainingsdata dan naïeve geschiedenis-conditionering. Hoewel naïeve methoden uiteindelijk kunnen bijbenen met zeer grote datasets, is BPP veel efficiënter in het leren van generaliseerbare patronen.
• Ablatie Studies:
  • Het gebruik van VLM-keyframes leidt slechts tot een kleine prestatiedaling (van 70% naar 60%) vergeleken met "oracle" keyframes, wat aantoont dat de methode robuust is tegen imperfecte detectie.
  • Het toevoegen van een "golden" auxiliary loss (het voorspellen van de ware staat) bleek schadelijk voor de generalisatie, wat het dekkingsprobleem bevestigt.

Betekenis en Toekomstperspectief

Dit paper biedt een paradigmaverschuiving in robot learning voor langdurige taken. In plaats van te proberen de volledige geschiedenis te modelleren (wat leidt tot overfitting op ruis), focust BPP op de essentiële gebeurtenissen die de taak definiëren.

• Schalbaarheid: Door VLM's te gebruiken voor het labelen van keyframes, kan deze aanpak potentieel worden geschaald naar grote, diverse datasets zonder handmatige annotatie van elke frame.
• Event-based Learning: Het paper pleit voor een verschuiving naar "event-based robot learning", waarbij continue controle wordt vertaald naar semantische mijlpalen.
• Toekomst: De auteurs zien potentie in het automatisch genereren van keyframe-definities via Large Language Models (LLM's) en het uitbreiden van het concept naar "key segments" (korte sequences) voor complexere gebeurtenissen zoals mislukte grijpacties.

Kortom, BPP lost het fundamentele probleem van geschiedenis-conditionering op door de inputruimte te reduceren tot wat er werkelijk toe doet voor de taak, wat leidt tot robuustere en efficiëntere robotbeleidspolitieken in de echte wereld.