Technische Samenvatting: TAVIS – Een Benchmark voor Egocentrische Actieve Visie en Anticiperende Blik in Imitatieleren

Probleemstelling

Imitatieleren (IL) voor visuele en motorische manipulatie heeft zich snel ontwikkeld, maar de meeste bestaande benchmarks en methoden vertrouwen op vaste camera's in derde persoon of met een groothoek. Hoewel recente onafhankelijke systemen hebben aangetoond dat beleidsplanningen die hun eigen blik regelen (actieve visie) de prestaties bij manipulatie verbeteren, ontbreekt het aan een gedeelde evaluatie-infrastructuur in het vakgebied. Huidige benchmarks (bijv. LIBERO, RLBench, CALVIN) gaan uit van vaste camera's en kunnen actieve visie niet isoleren als een gecontroleerde variabele. Bovendien zijn bestaande artefacten voor actieve visie vaak hardware-gebonden aan specifieke opstellingen met echte robots, wat vergelijkingen tussen systemen verhindert. Bijgevolg kan de gemeenschap niet systematisch kwantificeren wat actieve visie bijdraagt, op welke taaktypen, of onder welke omstandigheden. Daarnaast meet geen enkele huidige benchmark of geleerde beleidsplanningen anticiperende blik verwerven – het mensachtige gedrag waarbij de blik de handbeweging voorafgaat om intentie te signaleren – een kritieke dimensie voor leesbaarheid in Mens-Roboter Interactie (HRI).

Methodologie

De auteurs introduceren TAVIS (Tilburg Active Vision Imitation Learning), een op simulatie gebaseerde evaluatie-infrastructuur gebouwd op IsaacLab en IsaacLab-Arena. TAVIS is ontworpen om de rollen van actieve visie te isoleren via twee complementaire taakreeksen en twee mensachtige torso-embodiments (GR1T2 en Reachy2).

1. Taakreeksen

• TAVIS-Head (Globale Zoekopdracht): Bevat vijf taken die hoofdheroriëntatie (pan/tilt-hals) vereisen voor globale zoekopdrachten, verduidelijking van rommel en het signaleren van intentie. Taken omvatten conditional-pick (kijken naar een aanwijzingskaart), wait-then-act (temporele monitoring), clutter-pick-cube, clutter-pick-lift en multi-shelf-scan.
• TAVIS-Hands (Lokale Verduistering): Bevat drie taken waarbij hoofdbeweging onvoldoende is door verduistering, waardoor camera's aan de pols vereist zijn. Taken omvatten peeking-box (het bepalen van een open kant van een doos), occluded-reach (reiken achter een scherm) en blocked-clutter-pick-cube (het lokaliseren van een object met de hoofdcamera afgedekt).

2. Datacollectie en Protocol

• Demonstraties: Ongeveer 2.200 episodes werden verzameld via teleoperatie uit het eerste gezicht met een Meta Quest 3. De operator bedient gelijktijdig de armen en de nek (blik) van de robot.
• Gekoppelde Opname: Cruciaal is dat elke episode gelijktijdig wordt opgenomen met een hoofdgemonteerde camera (actief) en een vaste werkruimtecamera (passief). Dit maakt een gekoppelde vergelijking mogelijk waarbij de camera-modus de enige variabele is, terwijl alle andere factoren (demonstratie, scène-indeling, traject) constant worden gehouden.
• Verdelingsverdelingen: De benchmark bevat splitsingen binnen de verdeling (In-Distribution, ID) en buiten de verdeling (Out-of-Distribution, OOD) (ood-spatial voor objectplaatsing, ood-init-pose voor de resetpositie van de robot) om generalisatie en robuustheid tegen memorisatie te testen.

3. Evaluatieprimitieven

TAVIS introduceert drie specifieke evaluatieassen:

• Headcam vs. Fixedcam: Een directe vergelijking van de prestaties van beleidsplanningen met actieve versus passieve visie op identieke trajecten.
• GALT (Gaze-Action Lead Time): Een nieuwe metriek gebaseerd op cognitiewetenschap en HRI. Deze kwantificeert het tijdsverschil tussen het moment waarop het hoofd een definitieve fixatie bereikt ($t_{head}$) en het voltooien van een grijpactie ($t_{hand}$). Een positieve GALT duidt op anticiperende blik. De metriek is uitsluitend afgeleid van proprioceptie (opgedragen acties), waardoor deze portabel is voor evaluatie met echte robots.
• ID/OOD Verdelingen: Uitbreiding van het LIBERO-Pro-paradigma naar actieve visie om interpolatie te onderscheiden van extrapolatie.

Belangrijkste Bijdragen

1. De TAVIS Benchmark: Een samenstelbaar platform met twee taakreeksen, twee robot-embodiments en een uniforme 19-dimensionale canonieke actieruimte. Het releaseert ongeveer 2.200 episodes van gekoppelde headcam/fixedcam-demonstraties in LeRobot v3.0-formaat.
2. Nieuwe Evaluatieprimitieven:
   • Een gekoppeld headcam-vs-fixedcam-protocol om de voordelen van actieve visie te isoleren.
   • GALT, een kinematische metriek om anticiperende blik te kwantificeren, die de kloof overbrugt tussen robotleren en de literatuur over cognitiewetenschap/HRI.
   • Gecontroleerde ID/OOD-verdelingen om generalisatie op de proef te stellen.
3. Basisanalyses: Experimenten met Diffusion Policy en $\pi_0$ (Vision-Language-Action-modellen) bieden de eerste systematische vergelijking van actieve-visie IL.

Experimentele Resultaten

De auteurs trainden multi-task en single-task beleidsplanningen op TAVIS en rapporteerden de volgende bevindingen:

• Voordelen van Actieve Visie zijn Taak-Conditioneel: Actieve visie verbetert over het algemeen de prestaties, maar de winsten zijn niet uniform. Op TAVIS-Head presteerden hoofdgemonteerde camera's beter dan vaste camera's (bijv. +28 procentpunten op conditional-pick voor GR1T2). Echter, op taken waar de werkruimte al volledig waarneembaar was, waren de voordelen verwaarloosbaar of negatief (bijv. wait-then-act op GR1T2 toonde een regressie van -23 procentpunten). Op TAVIS-Hands, waar hoofdcamera's structureel niet-informatief zijn, waren polscamera's essentieel, met succespercentages van 70–77% in ID-situaties.
• Multi-Task Training: Multi-task beleidsplanningen presteerden beter dan single-task-baselines, vooral op de TAVIS-Hands-reeks, wat suggereert dat actieve visie profiteert van gedeelde representaties over taken heen.
• Gevoeligheid voor Verdelingsverschuiving: Beleidsplanningen degradeerden scherp onder gecontroleerde OOD-verschuivingen. Voor TAVIS-Head daalden de succespercentages van 43,0% (ID) naar 6,6% onder ood-init-pose-perturbaties. De degradatie was ernstiger voor hoofdgemonteerde camera's dan voor vaste camera's in bepaalde OOD-scenario's, wat de kwetsbaarheid van actieve-visie-beleidsplanningen voor positieverschuivingen benadrukt.
• Verwerving van Anticiperende Blik: Beleidsplanningen die uitsluitend via imitatie werden getraind (zonder expliciete GALT-optimalisatie) verworven anticiperende blik. De mediaan GALT voor geleerde beleidsplanningen was vergelijkbaar met de referentie van de menselijke teleoperator (ongeveer 2–3 seconden voorloop), met afwijkingen binnen ongeveer 7–10% voor de meeste taken. Dit suggereert dat de temporele koppeling van blik en actie een emergente eigenschap is van hoogwaardige imitatie.

Betekenis en Claims

Het artikel positioneert TAVIS als een noodzakelijke infrastructuur om de huidige bottleneck in het onderzoek naar actieve visie te overwinnen. Door een gedeelde benchmark met gecontroleerde variabelen te bieden, maakt het een eerlijke vergelijking mogelijk van uiteenlopende systemen die eerder niet konden worden vergeleken vanwege verschillen in hardware en taakdefinities.

De auteurs beweren dat TAVIS aantoont:

1. Dat actieve visie gunstig is maar taak-conditioneel, geen universele upgrade.
2. Dat huidige IL-beleidsplanningen kwetsbaar zijn onder verdelingsverschuivingen, vooral wanneer ze vertrouwen op actieve blik.
3. Dat imitatie alleen voldoende is om anticiperende blikpatronen te leren die menselijk gedrag nabootsen, wat het gebruik van teleoperatiedata voor het trainen van leesbare robotagenten valideert.

De benchmark is ontworpen om uitbreidbaar te zijn, waardoor nieuwe robots, taken en OOD-assen (bijv. visuele texturen, veranderingen op sceneniveau) kunnen worden toegevoegd om de grenzen van egocentrische actieve visie verder te verkennen.