💻 computer science

Not What You Asked For: Typographic Attacks in Household Robot Manipulation

Dit artikel toont aan dat typografische aanvallen op huishoudrobots die visuele-taalmodellen gebruiken, visuele beoordeling kunnen omzeilen om fysiek ingrijpende manipulatiefouten te veroorzaken, met een succespercentage van 67,8% in een gesimuleerde omgeving door de semantische kaart van de robot te vergiftigen en te leiden tot het verkeerd grijpen en vervoeren van objecten.

Oorspronkelijke auteurs: Ali Iranmanesh, Peng Liu

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Iranmanesh, Peng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een huishoudelijke robot voor als een behulpzame maar licht naïeve assistent. Hij heeft twee hoofdmanieren om de wereld te begrijpen:

Zijn ogen (visie): Hij kijkt naar een object en zegt: "Dat lijkt op een koffiekopje."
Zijn brein (taal): Hij luistert naar je opdracht, "Breng me alsjeblieft het koffiekopje," en koppelt de woorden aan wat hij ziet.

In moderne robots zijn deze twee systemen aan elkaar geplakt tot één enkel "brein" (een zogenaamd Vision-Language Model). Dit is geweldig omdat de robot duizenden nieuwe dingen kan begrijpen zonder opnieuw getraind te hoeven worden. Het artikel stelt echter dat deze lijm een gevaarlijke loophole creëert.

De "Magische Sticker"-truc

De onderzoekers ontdekten dat als je een stuk papier met de woorden "KOFFIEKOPJE" erop gedrukt plakt op een volledig ander object – zoals een broodrooster, een schoen of een lamp – het brein van de robot in de war raakt.

Omdat de "taal" en "visie" van de robot zo nauw met elkaar verbonden zijn, stopt de robot met kijken naar de vorm en kleur van het object. In plaats daarvan begint hij eerst te lezen en later te kijken. Hij ziet de woorden "KOFFIEKOPJE" en besluit direct: "Ah, dit moet het koffiekopje zijn", waarbij hij volledig negeert dat het eigenlijk een broodrooster is.

Het Domino-effect: Van een blik naar een grijpactie

Wat dit gevaarlijk maakt, is niet alleen dat de robot denkt dat de broodrooster een kopje is. Het is wat er daarna gebeurt.

De Vergiftigde Kaart: De robot maakt niet alleen een snelle fout; hij schrijft deze fout op in zijn permanente 3D-mentale kaart van de kamer. Het is alsof de robot "Dit is een kopje" op een post-it note schrijft en deze in zijn geheugen op de broodrooster plakt.
Het Blinde Vertrouwen: Zelfs als de robot wegloopt en terugkomt, of als de sticker uit het zicht wordt verwijderd, vertrouwt hij nog steeds op zijn mentale kaart. Hij denkt: "Ik weet dat daar een kopje ligt", omdat hij dat eerder heeft opgeschreven.
De Kinetische Fout: De robot loopt vervolgens fysiek naar het object, pakt de broodrooster en probeert hem aan je te geven of in een bekerhouder te plaatsen.

Het artikel noemt dit een "Kinetische Fout". Het is niet alleen een softwarebug waarbij de robot het verkeerde zegt; het is een fysieke actie waarbij de robot zich vastlegt op het verkeerde object en dit door het huis draagt.

Het Experiment: Hoe ze dit testten

De onderzoekers konden dit niet testen op echte robots in echte huizen (het is te duur en riskant), dus gebruikten ze een zeer realistische videogamesimulatie genaamd Habitat.

De Opstelling: Ze namen een robot die al goed was in het vinden en oppakken van objecten.
De Aanval: Ze plaatsten een gedrukte sticker met de naam van het doelobject (bijvoorbeeld "KOP") op een willekeurig, nabijgelegen object (een afleider).
Het Resultaat: In 59 specifieke testscenario's waarin de robot al in staat was om de taak uit te voeren, liet de sticker de robot 67,8% van de tijd in de val lopen.

In de meest succesvolle gevallen pakte de robot niet alleen het verkeerde ding; hij navigeerde succesvol naar het verkeerde object, pakte het op, droeg het door de kamer en probeerde het op de juiste plek te plaatsen. De robot was volledig "vastgelegd" op de fout.

Waarom dit belangrijk is (volgens het artikel)

Het artikel benadrukt dat eerdere onderzoek keek naar hoe stickers robots ertoe brengen om naar de verkeerde plek te navigeren (zoals een drone die naar het verkeerde dak vliegt). Maar dit is de eerste keer dat iemand heeft aangetoond dat stickers een robot kunnen ertoe brengen om fysiek het verkeerde item vast te pakken en te verplaatsen.

Het gevaar is dat het "geheugen" van de robot (de 3D-kaart) het gif levend houdt. Zelfs als je de sticker verwijdert, kan de robot nog steeds proberen het verkeerde object op te pakken omdat zijn interne kaart is beschadigd.

Het voorgestelde Oplossing

De auteurs suggereren dat we niet alleen de "ogen" van de robot kunnen repareren om de tekst te negeren. In plaats daarvan moeten we veranderen hoe de robot zijn geheugen gebruikt. Zij stellen drie veiligheidscontroles voor:

Dubbel Controleren: Vertrouw niet op één blik. Laat de robot het object vanuit verschillende hoeken bekijken voordat hij het in zijn permanente geheugen opschrijft.
De Tekst Opmerken: Laat een secundair systeem zeggen: "Wacht, er zit een sticker op dit object. Vertrouw het label nog niet."
Eindcontrole: Net voordat de robot het object daadwerkelijk grijpt, laat hem er nog één keer naar kijken om zeker te zijn dat hij niet is bedrogen.

Kortom: Een stuk papier met woorden erop kan een slimme robot ertoe brengen te denken dat een broodrooster een kopje is, en de robot zal die broodrooster met plezier naar je keukenblad dragen. Het artikel bewijst dat dit een reëel, fysiek risico is voor toekomstige huishoudrobots.

Technische Samenvatting: Typografische Aanvallen op Manipulatie door Huishoudelijke Robots

Probleemstelling
Open-vocabulary embodied AI-agenten, met name die welke Vision-Language Models (VLM's) zoals CLIP gebruiken, vertrouwen op een gedeelde embedding-ruimte om visuele en linguïstische kenmerken op elkaar af te stemmen. Hoewel dit flexibiliteit biedt bij het identificeren van duizenden objectcategorieën zonder hertraining, introduceert het een structurele kwetsbaarheid voor typografische aanvallen. Bij deze aanvallen overschrijft gedrukte tekst in een fysieke scène semantisch het visuele oordeel van het model, waardoor de agent een object verkeerd classificeert op basis van de tekst in plaats van zijn uiterlijk.

Hoewel eerdere onderzoeken (bijv. SCAM, CHAI) deze bedreiging hebben gekwantificeerd in statische 2D-benchmarks en navigatietaken op hoog niveau (drones, grondvoertuigen), blijft de impact op manipulatie door huishoudelijke robots onbestudeerd. Manipulatie-agenten verschillen fundamenteel van navigatie-agenten: een verkeerde classificatie is niet slechts een verkeerde beslissing over waar naartoe te gaan, maar een verkeerde beslissing over wat te grijpen. In een modulaire manipulatiepijplijn wordt een perceptuele fout geschreven in een persistente 3D-semantische kaart en verspreidt deze zich door de gehele Sense-Plan-Act-lus. Dit resulteert in een kinetisch falen: de agent grijpt fysiek het verkeerde object vast en transporteert dit naar een doelontvanger, waardoor de staat van de wereld binnen het episode onomkeerbaar wordt gewijzigd.

Methodologie
De auteurs evalueren deze bedreiging met behulp van de Habitat-simulatieromgeving en de HomeRobot-benchmark. Om de specifieke uitdagingen bij het evalueren van aanvallen op manipulatie-agenten aan te pakken, introduceren de auteurs een ontkoppelde perceptie-architectuur:

Gewijzigde OvmmPerception-module: De standaard HomeRobot-agent gebruikt DETIC zowel voor ruimtelijke voorstellen als voor semantische labeling. DETIC is niet kwetsbaar voor typografische aanvallen. De auteurs behouden DETIC voor geometrische grounding (bboxes, maskers, diepte), maar introduceren een bevroren CLIP-encoder als een parallelle, drempel-gated override-mechanisme voor de uiteindelijke objectclassificatie.
Aanvalsmechanisme: Een adversary plaatst een fysieke sticker met de naam van het doelobject (bijv. "kop") op een afleidingsobject langs de navigatiepad van de agent. Als de sticker een DETIC-bounding box-crop binnenkomt en de CLIP tekst-afbeelding gelijkenis-score een drempel overschrijdt ( $\theta = 0,28$ ), overschrijft CLIP het label van DETIC.
Persistentie: Het verkeerd geclassificeerde label wordt geschreven in een 3D Semantische Voxel-kaart. Deze kaart fungeert als een ruimtelijke cache; eenmaal vergiftigd, blijft de agent navigeren naar en het adversariele doel vastgrijpen, zelfs nadat de sticker uit het gezichtsveld is verdwenen.
Evaluatiepool: Uit een validatieset van 1.199 episodes isoleren de auteurs 59 toerekenbare episodes. Dit zijn episodes waarbij de niet-aangevallen agent volledig slaagt of alleen faalt bij de laatste plaatsingsstap. Deze filtering zorgt ervoor dat elke afwijking die tijdens de aanval wordt waargenomen ondubbelzinnig wordt veroorzaakt door de typografische verstoring en niet door vooraf bestaande beperkingen van de agent.

Belangrijkste Bijdragen

Identificatie van een nieuw aanvalsoppervlak: Het artikel formaliseert manipulatie door huishoudelijke robots als een onbestudeerd domein voor typografische aanvallen, waarbij het zich onderscheidt van navigatie door de verspreiding van fouten naar fysieke grijpacties.
Referentie-architectuur: De auteurs instantiëren een representatieve open-vocabulary manipulatiestack die gedeployerde systemen (bijv. EmbCLIP, TidyBot) nabootst door het visueel-taal uitlijningsstadium te isoleren om een gecontroleerde evaluatie van downstream kinetische falen mogelijk te maken.
Gekwantificeerd kinetisch falen: Het werk stelt vast dat typografische verkeerde classificatie leidt tot "kinetische falen" waarbij de robot fysiek het verkeerde object levert, een faalmodus die niet wordt vastgelegd in eerdere 2D- of alleen-navigatie-benchmarks.
Gecontroleerde evaluatie: De studie biedt de eerste gecontroleerde evaluatie van hoe bevestigde perceptuele gebreken zich voortplanten door een full-stack manipulatiepijplijn onder ongecontroleerde fysieke omstandigheden (niet-geoptimaliseerde kijkhoeken, occlusie).

Resultaten
De evaluatie werd uitgevoerd over 59 toerekenbare episodes zonder perceptuele optimalisatie van de stickers:

Aanvalsuccespercentage (ASR): De aanval behaalde een algeheel ASR van 67,8% (40/59 episodes).
- Onder volledig succesvolle episodes ( $E^*_f$ ) was het ASR 70,0% (7/10).
- Onder gedeeltelijk succesvolle episodes ( $E^*_p$ ) was het ASR 67,3% (33/49).
Mecanisme: In 92,5% van de succesvolle aanvallen pakte de agent de sticker direct. In 7,5% pakte de agent een object voor de sticker omdat de sticker zichtbaar was op de achtergrond van de DETIC-crop, wat een achtergrondclassificatiefout veroorzaakte.
Persistentie: In 100% van de succesvolle aanvallen voerde de agent de greep uit op basis van coördinaten die waren opgeslagen in de vergiftigde 3D-voxelkaart, vaak terugkerend naar het doel na het dwalen door de scène, wat bevestigt dat een enkele vergiftigde schrijfbewerking latere veiligheidsmarges omzeilt.
Faalmodi: De aanval verschuift de faalverdeling. Waar de niet-aangevallen agent voornamelijk faalde tijdens objectnavigatie (71,7%), concentreerden de door de aanval veroorzaakte falen zich op de Place-fase. De aanval resulteerde in twee onderscheiden uitkomsten:
- Gekaapte levering: De agent voltooide de volledige lus succesvol, pakte het verkeerde object en plaatste dit (7 gevallen).
- Kwaadaardig transport: De agent pakte het verkeerde object en transporteerde dit naar de ontvanger, waarbij het alleen faalde bij de laatste plaatsingsstap (33 gevallen).

Betekenis en Claims
Het artikel claimt vast te stellen dat typografische verkeerde classificatie een reële, meetbare en fysiek consequente bedreiging is voor de veiligheid van modulaire manipulatiepijplijnen. De betekenis ligt in het aantonen dat een adversary met een lage resource (die slechts een printer en kort toegang vereist) het ruimtelijke geheugen van de agent kan vergiftigen om kinetische falen te veroorzaken.

De auteurs benadrukken dat deze kwetsbaarheid structureel is aan het gezamenlijke visueel-taal embedding-paradigma (wat CLIP en opvolgers zoals SigLIP beïnvloedt). Zij betogen dat hoewel verdedigingen op encoder-niveau (bijv. Dyslexify, Defense-Prefix) de rates van verkeerde classificatie kunnen verminderen, ze de architecturale voorwaarde niet aanpakken waarbij een enkele vergiftigde vermelding in een persistente kaart de agent vastlegt op een verkeerde actie. Bijgevolg pleit het artikel voor architecturale mitigaties die VLA-classifier-outputs behandelen als onbetrouwbare invoer, waarbij multi-stap validatie (bijv. multi-view bevestiging, herquery op het moment van grijpen) vereist is voordat kinetische toewijzing plaatsvindt.