💻 computer science

AT-VLA: Adaptive Tactile Injection for Enhanced Feedback Reaction in Vision-Language-Action Models

Het artikel stelt AT-VLA voor, een nieuw raamwerk met een adaptief tactiele injectiemechanisme en een dual-stream architectuur voor tactiele reacties om de prestaties van vision-language-action-modellen te verbeteren bij manipulatie taken met veel contact, door interferentie met voorgeprogrammeerde representaties te minimaliseren en tegelijkertijd real-time tactiele reacties binnen 0,04 seconde te realiseren.

Oorspronkelijke auteurs: Xiaoqi Li, Muhe Cai, Jiadong Xu, Juan Zhu, Hongwei Fan, Yan Shen, Guangrui Ren, Hao Dong

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoqi Li, Muhe Cai, Jiadong Xu, Juan Zhu, Hongwei Fan, Yan Shen, Guangrui Ren, Hao Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die ongelooflijk slim is in het bekijken van de wereld en het begrijpen van taal, maar een beetje onhandig is wanneer het er echt toe komt om dingen aan te raken. Het kan een rits zien en de opdracht "deze tas openmaken" begrijpen, maar wanneer het probeert de rits te trekken, kan het vastlopen, de stof scheuren, of gewoon opgeven omdat het de weerstand niet "voelt".

Dit artikel introduceert AT-VLA, een nieuwe manier om deze robots bij te brengen hoe ze hun "gevoel" moeten gebruiken zonder alles wat ze al weten over zien en praten te vergeten.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Onhandige Genie"

Stel je een standaard robotbrein (een zogenaamd VLA-model) voor als een geniale bibliothecaris. Deze bibliothecaris heeft miljoenen boeken gelezen (voorgetraind op enorme datasets) en kan je precies vertellen waar een boek op een plank staat (visuele verankering) of hoe je erom moet vragen (taal).

Echter, deze bibliothecaris heeft nog nooit echt een boek vastgehouden. Als je hen vraagt om voorzichtig een breekbaar boek op een tafel te leggen, kunnen ze het misschien hard op de grond smijten omdat ze het fysieke gevoel van "zachtheid" of "druk" niet begrijpen.

Recente pogingen om dit op te lossen, duwden gewoon een "tastsensor" in het brein van de bibliothecaris. Maar dit was alsof je een blinddoekdragende persoon een kaart geeft terwijl ze proberen een boek te lezen. De nieuwe informatie (tast) verwarde de bibliothecaris, en ze begonnen te vergeten waar de boeken stonden (het verliezen van hun visuele vaardigheden).

2. De Oplossing: De "Adaptieve Tast-Schakelaar"

De auteurs creëerden een systeem genaamd AT-VLA dat fungeert als een slim verkeerslicht voor het brein van de robot.

De "Tast-poort" (Het Verkeerslicht):
De robot heeft een speciale sensor die controleert: "Raak ik op dit moment iets aan?"
- Groen Licht (Geen Aanraking): Als de robot alleen maar naar een tas kijkt of er naar reikt, blijft de "Tast-poort" UIT. De robot vertrouwt volledig op zijn "Geniale Bibliothecaris"-brein (visie en taal). Dit zorgt ervoor dat het niet in de war raakt en nog steeds precies weet waar het het object moet grijpen.
- Rood Licht (Aanraking): Het moment dat de vingers van de robot contact maken met de rits of het stempel, schakelt de Poort AAN. Plotseling wordt de data van de tastsensor toegelaten tot het brein.
De "Adaptieve Injectie":
In plaats van de tastdata voortdurend in het brein te forceren (wat verwarring veroorzaakt), injecteert het systeem deze alleen wanneer het echt nodig is. Het is alsof je alleen je koplampen aanzet als je een donkere tunnel inrijdt, in plaats van ze aan te laten in de felle zon waar ze je misschien verblinden.

3. De Snelheidstruc: De "Trage Denker" en de "Snelle Reactor"

Zelfs met de tastsensor zijn robots meestal te traag om te reageren op dingen die in real-time gebeuren. Als een rits vastloopt, moet de robot onmiddellijk stoppen, niet wachten op een langzaam denkproces.

AT-VLA lost dit op met een Dual-Stream-strategie, zoals een CEO en een Beveiligingsagent:

De Trage Stroom (De CEO): Dit deel van het brein is de "Geniale Bibliothecaris". Het kijkt naar de afbeelding en de opdracht ("Maak de tas open"). Het denkt diep en langzaam na over het algemene plan. Het werkt misschien eens in de paar seconden bij.
De Snelle Stroom (De Beveiligingsagent): Dit deel is uitsluitend gericht op de tastsensoren. Het draait met bliksemsnelheid (40 keer sneller dan de CEO). Als de Beveiligingsagent plotseling een "schok" of "druk" van de rits voelt, schreeuwt hij direct: "Stop! Pas aan!" en verandert de handbeweging van de robot onmiddellijk.

De robot gebruikt het plan van de CEO voor het grote geheel, maar laat de Beveiligingsagent split-second aanpassingen maken om dingen veilig en soepel te houden.

4. De Resultaten: Beter in Aanraken, Nog Steeds Goed in Zien

De onderzoekers testten dit op echte robots die lastige taken uitvoerden, zoals:

Een tas openmaken (zonder het te scheuren).
Een stuk papier stempelen (zonder het bureau te verpletteren).
Een gebogen vaas afnemen (zonder hem om te duwen).

De bevindingen waren indrukwekkend:

Beter in Aanraken: De nieuwe robot was veel beter in deze "aanraak-gevoelige" taken dan eerdere robots. Het bleef niet vastlopen of dingen breken.
Nog Steeds Goed in Zien: Omdat de "Tast-poort" de tastdata weg hield wanneer het niet nodig was, verloor de robot niet het vermogen om objecten te vinden en te grijpen. Het bleef een "Geniale Bibliothecaris".
Robuustheid: Zelfs als de tastsensor kapot ging of tijdens een test werd uitgeschakeld, kon de robot de taak nog steeds bijna even goed uitvoeren als daarvoor. Het had geleerd hoe je moet aanraken, zodat het kon raden wat het moest voelen op basis van wat het zag.

Samenvatting

AT-VLA is alsof je een robot een paar "slimme" handschoenen geeft. De handschoenen activeren hun speciale sensoren alleen wanneer de robot daadwerkelijk iets aanraakt. Op deze manier krijgt de robot het voordeel van het voelen van de wereld zonder in de war te raken of te vergeten hoe het moet zien. Het combineert het trage, slimme plannen van een mens met de snelle, reflexieve reacties van een zenuwstelsel.

Technische Samenvatting: AT-VLA

Probleemstelling

Vision-Language-Action (VLA)-modellen hebben geavanceerde robotische capaciteiten ontwikkeld voor diverse taken, maar kampen met moeilijkheden in contactrijke manipulatiescenario's die nauwkeurige fysieke interacties vereisen. Huidige beperkingen omvatten:

Verstoring van voorgeprogrammeerde kennis: Het introduceren van nieuwe modaliteiten (zoals tactiele signalen) tijdens downstream finetuning verstoort vaak de bestaande voorgeprogrammeerde visuele en linguïstische representaties van het model, wat leidt tot een verslechterde prestatie in basis taken zoals objectlocatie en grijpen.
Latentie in feedbackloops: De inherent trage inferentiesnelheid van VLA-modellen belemmert real-time responsiviteit. Deze vertraging verhindert een effectief gebruik van hoogfrequente tactiele feedback voor snelle aanpassingen van acties, wat cruciaal is voor veilige en succesvolle gesloten-lus manipulatie.

Methodologie: AT-VLA

De auteurs stellen Adaptive Tactile Vision-Language-Action (AT-VLA) voor, een raamwerk ontworpen om de behouding van voorgeprogrammeerde capaciteiten in evenwicht te brengen met de integratie van tactiele feedback. Het systeem is gebouwd op een voorgeprogrammeerd VLA (specifiek GO-1) en introduceert twee kernmechanismen:

1. Adaptieve Tactiele Injectie

Dit mechanisme bepaalt dynamisch het tijdstip en de locatie van de integratie van tactiele signalen om interferentie met voorgeprogrammeerde representaties te minimaliseren.

Tactiele Poort: Een leerbare poortnetwerk classificeert of de robot zich in een "contact"- of "geen-contact"-toestand bevindt, gebaseerd op tactiele tokens.
- Geen-contact: De poort blijft inactief. Het model werkt identiek aan de standaard VLA, waarbij het uitsluitend vertrouwt op visie en taal om voorgeprogrammeerde visuele verankering en locatiedetectie te behouden.
- Contact: De poort activeert, waardoor tactiele signalen de generatie van acties kunnen beïnvloeden.
Adaptieve Cross-Attention: Om de toestand van de poort op te vangen zonder de modelarchitectuur of feature-dimensies te wijzigen:
- Wanneer de poort inactief is, dient de staatstoken als query in de cross-attention-module van de Actie-expert (overeenkomend met de standaard VLA).
- Wanneer de poort actief is, schakelt de query-bron over naar de tactiele token. Dit stelt het model in staat om actiegeneratie alleen dan te conditioneren op tactiele feedback wanneer dit noodzakelijk is, waardoor de voorgeprogrammeerde structuur tijdens niet-contact-fases behouden blijft.

2. Tactiele Reactie Dual-Stream

Om het probleem van latentie aan te pakken en snelle reacties op hoogfrequente tactiele feedback mogelijk te maken, wordt de sensorische verwerking ontkoppeld in twee asynchrone streams:

Trage Stream (Laag Frequentie): Verwerkt visuele en taalinput via het grote Vision-Language Model (VLM). Het behandelt hoogwaardig taakbegrip en perceptuele redenering, en levert een latente context (Key/Value) voor de Actie-expert.
Snelle Stream (Hoog Frequentie): Verwerkt continu tactiele feedback. Het opereert op een hogere inferentiesnelheid (bijvoorbeeld een verhouding van 3:1 ten opzichte van de trage stream) om directe aanpassingen van acties te genereren.
Integratie: De Actie-expert conditioneert elke actievoorspelling op de meest recente tactiele feedback (Snelle Stream-query) terwijl het gebruik maakt van de meest recente output van visie-taalredenering (Trage Stream Key/Value) binnen dezelfde horizon van een actiechunk. Dit resulteert in een gesloten-lus responstijd van 0,04 seconden.

Belangrijkste Bijdragen

Adaptieve Tactiele Injectie: De eerste aanpak om voorgeprogrammeerde VLA-kennis in evenwicht te brengen met nieuw geïntroduceerde tactiele representaties, waardoor verstoring van visuele verankering en objectlocatie wordt voorkomen.
Tactiele Reactie Dual-Stream: Een nieuw mechanisme dat sensorische verwerkingsfrequenties ontkoppelt, waardoor nauwkeurige, real-time aanpassingen van acties tijdens contact mogelijk zijn terwijl de stabiliteit van hoogwaardig redeneren behouden blijft.
Modaliteits-onafhankelijke Robuustheid: Het model toont sterke generalisatie en behoudt prestaties die vergelijkbaar zijn met standaard VLAs, zelfs wanneer tactiele signalen tijdens inferentie ontbreken, ondanks dat het is getraind met tactiele feedback.
Empirische Validatie: Uitgebreide experimenten in de echte wereld tonen superieure prestaties in contactrijke taken in vergelijking met state-of-the-art (SOTA) VLA- en op tactiele feedback gebaseerde beleidslijnen.

Experimentele Resultaten

De auteurs hebben AT-VLA geëvalueerd op een robot met twee armen (AgiBot Genie1) uitgerust met tactiele sensoren, over zes taken: vier contactrijke (Ritszak openen, Stempelen, Vase afvegen, Deksel losdraaien) en twee zonder contact (Pakken en Plaatsen, Lade openen).

Contactrijke Taken: AT-VLA presteerde aanzienlijk beter dan baselines (GO-1, $\pi_0.5$ $π_{0} .5$ , VTLA, RDP).
- Bij de taak Ritszak openen behaalde AT-VLA een slagingspercentage van 33%, vergeleken met 20% voor GO-1 en 0% voor $\pi_0.5$ .
- Bij de taak Stempelen bereikte AT-VLA een algeheel slagingspercentage van 46%, vergeleken met 13% voor GO-1 en 20% voor $\pi_0.5$ .
- Het model slaagde erin om veelvoorkomende faalmodi van baselines te vermijden, zoals vastlopen van de rits of botsingen door overmatige kracht.
Modaliteits-onafhankelijke Evaluatie: Wanneer getest zonder tactiele input tijdens inferentie, behield AT-VLA prestaties die vergelijkbaar waren met de standaard VLA bij taken zonder contact en toonde zelfs lichte verbeteringen bij de "Stempelen"-taak, wat suggereert dat het impliciet contactdynamiek heeft geleerd uit de trainingsdata.
Ablatiestudies:
- Directe Opname: Het simpel toevoegen van tactiele tokens zonder poortvermindering verlaagde de prestaties met 9% ten opzichte van de standaard VLA, wat het risico bevestigt op verstoring van voorgeprogrammeerde kennis.
- Dual-Stream: Het verwijderen van het dual-stream mechanisme (synchrone frequenties behoudend) resulteerde in een prestatiedaling van 11%, wat de noodzaak benadrukt van een snelle tactiele respons.
- Tactiele Formaten: Het raamwerk bleek robuust over verschillende tactiele formaten (6D-kracht, 2D-markers, visueel-tactiele afbeeldingen), waarbij 6D-kracht de beste resultaten opleverde.

Betekenis

Het artikel stelt dat AT-VLA een belangrijke stap voorwaarts is naar responsievere en generaliseerbare multimodale robotsystemen. Door succesvol tactiele feedback te integreren zonder de robuustheid van voorgeprogrammeerde visie-taalcapaciteiten te compromitteren, adresseert AT-VLA een kritieke bottleneck in robotische manipulatie: het vermogen om precieze, veilige en snelle fysieke interacties uit te voeren in contactrijke omgevingen. Het vermogen van het raamwerk om effectief te functioneren zelfs wanneer tactiele sensoren niet beschikbaar zijn, versterkt verder de praktische levensvatbaarheid voor implementatie in de echte wereld.