Technische Samenvatting: REIS – Redundantie-eliminatie voor inferentie-efficiënte systemen

Probleemstelling

Recente robotica-policies die gebruikmaken van Large Language Models (LLM's) en Vision-Language Models (VLM's) hebben superieur semantisch plannen en generalisatie aangetoond via "reason-and-act" paradigma's (bijv. CoT-VLA, DiffusionVLA). Echter, deze redeneer-intensieve benaderingen lijden onder een hoge inferentie-latentie, wat vaak botst met de strikte real-time beperkingen (10–100 ms) die vereist zijn voor robotische besturing. Bestaande oplossingen, zoals hiërarchische of dual-process architecturen, proberen trage semantische redenering te scheiden van snelle laag-niveau actiegeneratie. Hoewel effectief, beschouwen deze methoden redeneer-latentie als een onvermijdelijke kostenpost, wat een fragiele afweging creëert waarbij frequente redeneer-updates de voordelen van de latentie tenietdoen, terwijl minder frequente updates leiden tot een verouderd contextueel begrip.

De auteurs identificeren dat de primaire flessenhals niet de actiegeneratie zelf is, maar de temporele redundantie in het redeneerproces. In dynamische omgevingen leveren opeenvolgende observaties vaak identieke acties en subdoelen op, terwijl standaard pipelines deze toestanden telkens opnieuw vanaf nul moeten afleiden. Deze redundantie zorgt ervoor dat observaties verouderd raken voordat ze uitgevoerd kunnen worden, wat paradoxaal genoeg de reactiviteit en robuustheid vermindert.

Methodologie: REIS-framework

Om dit aan te pakken, stellen de auteurs REIS (Redundancy Elimination for Inference-efficient Systems) voor, een door menselijke cognitie geïnspireerd dual-process framework dat onnodig redeneren minimaliseert terwijl het semantische adaptiviteit behoudt. De architectuur scheidt besluitvorming in twee afzonderlijke systemen:

Systeem Eén: Snelle Intuïtieve Besluitvorming

Systeem Eén werkt asynchroon op de framerate om zware inferentie te omzeilen wanneer de omgeving stabiel is. Het bestaat uit twee componenten:

1. EMA-HSVS (Ego-Motion Aware Head-Selective Visual Similarity): Een lichtgewicht scene gating mechanisme. In plaats van alle visuele features te verwerken, selecteert het specifieke transformer-heads die gevoelig zijn voor geometrische variaties. Het berekent de cosinus-gelijkenis tussen het huidige frame en de laatste inferentie-trigger, na het toepassen van een "Self-Mask" om pixelverschillen veroorzaakt door de robotarm te filteren. Systeem Twee wordt pas geactiveerd als de gelijkenis onder een vooraf ingestelde drempelwaarde valt, wat duidt op een structurele scèneverandering.
2. KV-Steered Affordance Router: Een mechanisme om de voortgang van subdoelen en de geldigheid van acties te verifiëren zonder volledige autoregressieve redenering. Het injecteert vooraf berekende sturende vectoren (afgeleid van het verschil tussen reasoning-rijke en label-alleen KV-states) in de gecachte Key-Value (KV) states van het model. Dit stuurt het model naar deterministische affordance-beslissingen (bijv. "houd huidige actie aan" of "ga door naar volgend subdoel") met nul token-generatie overhead.

Systeem Twee: Deliberatieve Planning

Systeem Twee voert hoogwaardige semantische redenering en multi-step herplanning uit, alleen wanneer dit door Systeem Eén wordt geëscaleerd (bijv. tijdens ambigue toestanden, fouten of significante structurele veranderingen). Het bestaat uit:

• Online Deliberatieve Redenering: Genereert hoogwaardige subdoelen en laag-niveau acties.
• Offline Anticipatory Logic Synthesis: Construeert de KV-sturende tensors die door Systeem Eén worden gebruikt. Dit omvat het simuleren van positieve (reasoning-rijke) en negatieve (label-alleen) traject-paren om de gemiddelde element-gewijze verschillen in KV-states te berekenen, waardoor sturende vectoren ontstaan die de routing-beslissingen van Systeem Eén sturen.

Het framework past zich aan aan verschillende modaliteiten: voor navigatie filtert EMA-HSVS actief macro visuele ruis; voor manipulatie wordt EMA-HSVS gedeactiveerd om de gevoeligheid voor lokale object-niveau veranderingen te behouden, waarbij vertrouwd wordt op de Affordance Router.

Belangrijkste Bijdragen

1. Lichtgewicht Vision-Encoder Head Selectie: Een methode om redundante visuele tokens te snoeien door alleen die transformer-heads te identificeren en te gebruiken die het meest gevoelig zijn voor geometrische variaties, wat efficiënte perceptie mogelijk maakt.
2. Priming-Effect-geïnspireerd Inferentiemechanisme: Een nieuwe benadering die gebruikmaakt van historische context via KV-cache sturing om redundante redeneerstappen te omzeilen, wat de LM-gebaseerde robotische besturing versnelt zonder het verlies van contextuele adaptiviteit.
3. Uitgebreide Validatie: Demonstratie van het framework over diverse foundation model architecturen (Qwen-3-VL, DeepThink) en pipelines (navigatie en manipulatie), waarbij substantiële reducties in latentie worden getoond met minimale impact op de taaksucces in zowel simulatie (ALFRED) als real-world omgevingen.

Experimentele Resultaten

Het framework werd geëvalueerd op een NVIDIA Jetson Orin NX (16GB) met behulp van Qwen-3-VL (4B) en DeepThink (3B) modellen.

• Efficiëntie vs. Nauwkeurigheid Afweging: REIS bereikte een gemiddelde snelheidswinst van 15,09× over taken heen, terwijl er slechts een 3,73% degradatie in episode-nauwkeurigheid optrad vergeleken met een naïeve baseline die elke frame inferentie uitvoert.
  • Navigatie: Bereikte een snelheidswinst van 27,35× (0,641 nauwkeurigheid vs. 0,680 baseline) door redundantie te onderdrukken tijdens langdurige bewegingen.
  • Manipulatie: Bereikte een snelheidswinst van 2,34× (0,729 nauwkeurigheid vs. 0,760 baseline).
  • ALFRED Benchmark: Bereikte een snelheidswinst van 15,58× (0,512 nauwkeurigheid vs. 0,554 baseline).
• Latentie Reductie: De Affordance Router reduceerde de inferentie-latentie van 43,59 seconden (autoregressieve redenering) naar 406,21 ms (KV-gestuurde routing), terwijl de classificatie-nauwkeurigheid verbeterde van ~0,75 naar 0,913.
• Foutdetectie: In manipulatie-taken verminderde REIS de latentie van foutdetectie tot 0,933 ± 0,874 s, een 2,21× verbetering ten opzichte van periodieke architecturen die lijden onder blokkerende autoregressieve generatie.
• Trigger Precisie: De EMA-HSVS module bereikte een recall van meer dan 97% voor ware toestands-transities en een precisie van 94,6% bij het filteren van redundante frames.

Betekenis en Claims

Het artikel claimt dat REIS aantoont dat temporele continuïteit kan worden behandeld als een activa in plaats van een computationele last. Door direct de onnodige redenering te minimaliseren in plaats van het los te koppelen van handelen, kunnen robotische systemen een actieve redeneerlus behouden zonder de real-time reactiviteit op te offeren.

De auteurs benadrukken dat hun aanpak:

• Redundantie Elimineert: Bewijst dat continue per-frame redenering vaak onnodig is, aangezien betekenisvolle updates voornamelijk plaatsvinden bij structurele transities.
• Edge Deployment Mogelijk Maakt: Succesvol complexe redenerings-gebaseerde policies draaien op resource-beperkte hardware (Jetson Orin NX) door de computationele footprint te reduceren naar 10–12 GB.
• Zero-Shot Nuttigheid: Deze winsten behaalt met off-the-shelf foundation modellen zonder dat er taakspecifieke fine-tuning nodig is voor de gating-mechanismen, door te vertrouwen op de offline synthese van sturende vectoren.

Het werk suggereert een verschuiving in de ontwerpfilosofie voor Embodied AI: van "redeneren bij elke stap" naar "redeneren alleen wanneer nodig", waardoor het conflict tussen semantische rijkdom en real-time besturing wordt opgelost.