💻 computer science

Not What You Asked For: Typographic Attacks in Household Robot Manipulation

Este artículo demuestra que los ataques tipográficos contra robots domésticos que utilizan modelos de visión y lenguaje pueden eludir el juicio visual para provocar fallos de manipulación con consecuencias físicas, logrando una tasa de éxito del 67,8% en un entorno simulado al envenenar el mapa semántico del robot y provocar el agarre y transporte incorrectos de objetos.

Autores originales: Ali Iranmanesh, Peng Liu

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Iranmanesh, Peng Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un robot doméstico como un asistente útil pero ligeramente ingenuo. Tiene dos formas principales de entender el mundo: 1. Sus Ojos (Visión): Observa un objeto y dice: "Eso parece una taza de café". 2. Su Cerebro (Lenguaje): Escucha tu comando: "Por favor, tráeme la taza de café", y hace coincidir las palabras con lo que ve. En los robots modernos, estos dos sistemas están pegados juntos en un único "cerebro" (llamado Modelo Visión-Lenguaje). Esto es excelente porque el robot puede entender miles de cosas nuevas sin necesidad de ser reentrenado. Sin embargo, el artículo argumenta que este pegamento crea una peligrosa puerta trasera. ### El Truco de la "Etiqueta Mágica" Los investigadores descubrieron que si pegas un trozo de papel con las palabras "TAZA DE CAFÉ" impresas sobre un objeto completamente diferente, como una tostadora, un zapato o una lámpara, el cerebro del robot se confunde. Debido a que las partes de "lenguaje" y "visión" del robot están tan estrechamente vinculadas, el robot deja de observar la forma y el color del objeto. En su lugar, empieza a leer el texto primero y a mirar después. Ve las palabras "TAZA DE CAFÉ" y decide inmediatamente: "Ah, esto debe ser la taza de café", ignorando por completo el hecho de que en realidad es una tostadora. ### El Efecto Dominó: De una Mirada a un Agarre Lo que hace esto peligroso no es solo que el robot piense que la tostadora es una taza. Es lo que sucede después. 1. El Mapa Envenenado: El robot no solo comete un error rápido; escribe este error en su mapa mental tridimensional permanente de la habitación. Es como si el robot escribiera "Esto es una taza" en una nota adhesiva y la pegara a la tostadora en su memoria. 2. La Confianza Ciega: Incluso si el robot se aleja y vuelve, o si la etiqueta queda oculta a la vista, aún confía en su mapa mental. Piensa: "Sé que hay una taza justo allí", porque lo escribió antes. 3. El Fallo Cinético: El robot entonces camina físicamente hacia allí, agarra la tostadora e intenta entregártela o colocarla en un soporte para tazas. El artículo llama a esto un "Fallo Cinético". No es solo un error de software donde el robot dice la cosa incorrecta; es una acción física donde el robot se compromete con el objeto equivocado y lo lleva por la casa. ### El Experimento: Cómo lo Probaron Los investigadores no pudieron probar esto en robots reales en hogares reales (es demasiado costoso y riesgoso), así que utilizaron una simulación de videojuego altamente realista llamada Habitat. * La Configuración: Tomaron un robot que ya era bueno para encontrar y recoger objetos. * El Ataque: Colocaron una etiqueta impresa con el nombre del objeto objetivo (por ejemplo, "TAZA") sobre un objeto aleatorio y cercano (un distractor). * El Resultado: De 59 escenarios de prueba específicos donde el robot ya era capaz de realizar el trabajo, el truco de la etiqueta engañó al robot el 67,8 % de las veces. En los casos más exitosos, el robot no solo agarró lo incorrecto; navegó con éxito hacia el objeto equivocado, lo recogió, lo transportó a través de la habitación e intentó colocarlo en el lugar correcto. El robot estaba completamente "comprometido" con el error. ### Por Qué Esto Importa (Según el Artículo) El artículo destaca que investigaciones anteriores examinaron cómo las etiquetas engañan a los robots para que naveguen hacia el lugar incorrecto (como un dron que vuela hacia el tejado equivocado). Pero esta es la primera vez que alguien ha demostrado que las etiquetas pueden engañar a un robot para que agarre y mueva físicamente el objeto equivocado. El peligro es que la "memoria" del robot (el mapa 3D) mantiene el veneno vivo. Incluso si quitas la etiqueta, el robot podría seguir intentando recoger el objeto equivocado porque su mapa interno está corrupto. ### La Solución Propuesta Los autores sugieren que no podemos simplemente arreglar los "ojos" del robot para que ignoren el texto. En su lugar, necesitamos cambiar cómo el robot utiliza su memoria. Proponen tres verificaciones de seguridad: 1. Doble Verificación: No confíes en una sola mirada. Haz que el robot observe el objeto desde diferentes ángulos antes de escribirlo en su memoria permanente. 2. Detectar el Texto: Ten un sistema secundario que diga: "Espera, hay una etiqueta en este objeto. No confíes en la etiqueta todavía". 3. Verificación Final: Justo antes de que el robot agarre realmente el objeto, haz que lo observe una última vez para asegurarse de que no ha sido engañado. En resumen: Un trozo de papel con palabras puede engañar a un robot inteligente para que piense que una tostadora es una taza, y el robot llevará felizmente esa tostadora a tu encimera de cocina. El artículo demuestra que esto es un riesgo real y físico para los futuros robots domésticos.

Resumen Técnico: Ataques Tipográficos en la Manipulación de Robots Domésticos

Enunciado del Problema
Los agentes de IA encarnada de vocabulario abierto, particularmente aquellos que utilizan Modelos Visuales-Lingüísticos (VLM) como CLIP, dependen de un espacio de incrustación compartido para alinear características visuales y lingüísticas. Si bien esto permite flexibilidad en la identificación de miles de categorías de objetos sin reentrenamiento, introduce una vulnerabilidad estructural ante ataques tipográficos. En estos ataques, el texto impreso en una escena física anula semánticamente el juicio visual del modelo, provocando que el agente clasifique erróneamente un objeto basándose en el texto en lugar de en su apariencia.

Si bien investigaciones anteriores (por ejemplo, SCAM, CHAI) han cuantificado esta amenaza en puntos de referencia 2D estáticos y tareas de navegación de alto nivel (drones, vehículos terrestres), el impacto en la manipulación de robots domésticos permanece sin examinar. Los agentes de manipulación difieren críticamente de los agentes de navegación: una mala clasificación no es simplemente una decisión errónea sobre dónde ir, sino una decisión errónea sobre qué agarrar. En una pipeline de manipulación modular, un error perceptual se escribe en un mapa semántico 3D persistente y se propaga a través de todo el bucle Sentir-Planificar-Actuar. Esto resulta en un fallo cinético: el agente agarra y transporta físicamente el objeto incorrecto a un recipiente objetivo, alterando irreversiblemente el estado del mundo dentro del episodio.

Metodología
Los autores evalúan esta amenaza utilizando el entorno de simulación Habitat y el punto de referencia HomeRobot. Para abordar los desafíos específicos de evaluar ataques en agentes de manipulación, los autores introducen una arquitectura de percepción desacoplada:

Módulo OvmmPerception Modificado: El agente HomeRobot estándar utiliza DETIC tanto para propuestas espaciales como para etiquetado semántico. DETIC no es vulnerable a ataques tipográficos. Los autores retienen DETIC para el anclaje geométrico (cajas delimitadoras, máscaras, profundidad) pero introducen un codificador CLIP congelado como un mecanismo de anulación paralelo y activado por umbral para la clasificación final del objeto.
Mecanismo de Ataque: Un adversario coloca una pegatina física con el nombre del objeto objetivo (por ejemplo, "taza") sobre un objeto distractor a lo largo de la ruta de navegación del agente. Si la pegatina entra en un recorte de caja delimitadora de DETIC y la puntuación de similitud texto-imagen de CLIP supera un umbral ( $\theta = 0.28$ ), CLIP anula la etiqueta de DETIC.
Persistencia: La etiqueta mal clasificada se escribe en un Mapa de Vóxeles Semánticos 3D. Este mapa actúa como una caché espacial; una vez envenenado, el agente continúa navegando hacia y agarrando el objetivo adversario incluso después de que la pegatina sale del campo de visión.
Grupo de Evaluación: De un conjunto de validación de 1.199 episodios, los autores aíslan 59 episodios atribuibles. Estos son episodios donde el agente no atacado tiene éxito completo o falla solo en el paso final de colocación. Este filtrado asegura que cualquier desviación observada durante el ataque sea inequívocamente causada por la perturbación tipográfica y no por limitaciones preexistentes del agente.

Contribuciones Clave

Identificación de una Nueva Superficie de Ataque: El artículo formaliza la manipulación de robots domésticos como un dominio sin examinar para ataques tipográficos, distinguiéndolo de la navegación por la propagación de errores hacia acciones de agarre físicas.
Arquitectura de Referencia: Los autores instancian una pila de manipulación de vocabulario abierto representativa que refleja sistemas desplegados (por ejemplo, EmbCLIP, TidyBot) aislando la etapa de alineación visión-lenguaje para permitir una evaluación controlada de fallos cinéticos aguas abajo.
Fallo Cinético Cuantificado: El trabajo establece que la mala clasificación tipográfica conduce a "fallos cinéticos" donde el robot entrega físicamente el objeto incorrecto, un modo de fallo no capturado en puntos de referencia 2D anteriores o solo de navegación.
Evaluación Controlada: El estudio proporciona la primera evaluación controlada de cómo los defectos perceptuales confirmados se propagan a través de una pipeline completa de manipulación bajo condiciones físicas no controladas (ángulos de visión no optimizados, oclusión).

Resultados
La evaluación se realizó en 59 episodios atribuibles sin optimización perceptual de las pegatinas:

Tasa de Éxito del Ataque (ASR): El ataque logró una ASR general del 67,8% (40/59 episodios).
- Entre los episodios totalmente exitosos ( $E^*_f$ ), la ASR fue del 70,0% (7/10).
- Entre los episodios parcialmente exitosos ( $E^*_p$ ), la ASR fue del 67,3% (33/49).
Mecanismo: En el 92,5% de los ataques exitosos, el agente agarró directamente la pegatina. En el 7,5%, el agente agarró un objeto frente a la pegatina porque la pegatina era visible en el fondo del recorte de DETIC, desencadenando un fallo de clasificación de fondo.
Persistencia: En el 100% de los ataques exitosos, el agente ejecutó el agarre basándose en coordenadas almacenadas en el mapa de vóxeles 3D envenenado, a menudo regresando al objetivo después de vagar por la escena, confirmando que una sola escritura envenenada elude los márgenes de seguridad posteriores.
Modos de Fallo: El ataque desplazó la distribución de fallos. Mientras que el agente no atacado falló principalmente durante la navegación del objeto (71,7%), los fallos inducidos por el ataque se concentraron en la fase Colocar. El ataque dio lugar a dos resultados distintos:
- Entrega Secuestrada: El agente completó con éxito el bucle completo, agarrando y colocando el objeto incorrecto (7 casos).
- Transporte Malicioso: El agente agarró el objeto incorrecto y lo transportó al recipiente, fallando solo en el paso final de colocación (33 casos).

Significado y Afirmaciones
El artículo afirma establecer que la mala clasificación tipográfica es una amenaza real, medible y con consecuencias físicas para la seguridad de las pipelines de manipulación modular. La importancia radica en demostrar que un adversario físico de bajo recurso (que requiere solo una impresora y acceso breve) puede envenenar la memoria espacial del agente para provocar fallos cinéticos.

Los autores enfatizan que esta vulnerabilidad es estructural al paradigma de incrustación conjunta visión-lenguaje (afectando a CLIP y sucesores como SigLIP). Argumentan que, si bien las defensas a nivel de codificador (por ejemplo, Dyslexify, Defense-Prefix) pueden reducir las tasas de mala clasificación, no abordan la condición arquitectónica donde una sola entrada envenenada en un mapa persistente compromete al agente a una acción incorrecta. En consecuencia, el artículo aboga por mitigaciones arquitectónicas que traten las salidas de los clasificadores VLA como entradas no confiables, requiriendo validación multietapa (por ejemplo, confirmación multivista, reconsulta en el momento del agarre) antes del compromiso cinético.

Resumen Técnico: Ataques Tipográficos en la Manipulación de Robots Domésticos

Más como este