When State Becomes an Attack Surface: State-Semantic Injection in LLM-Driven Embodied Agents
Este artículo introduce la "Inyección de Estado Semántico" (State-Semantic Injection), una nueva superficie de ataque donde los adversarios manipulan la información del estado ambiental percibida por agentes encarnados impulsados por LLM para corromper su comprensión de tareas, planificación y ejecución, comprometiendo así la seguridad y confiabilidad de los sistemas robóticos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un robot que puede entender tu voz, mirar alrededor de una habitación y decidir cómo mover sus brazos para ayudarte. Estas máquinas, a menudo llamadas agentes encarnados, se están volviendo más comunes. No solo siguen una lista rígida de comandos; en su lugar, utilizan poderosos modelos de lenguaje para determinar qué hacer a continuación basándose en lo que ven y en lo que les pides. Para tomar una decisión, el robot construye una imagen mental de su entorno, anotando dónde están los objetos, cómo se llaman y cómo se relacionan entre sí. Trata esa imagen mental como un hecho confiable, una base sólida sobre la cual construye su plan para recoger una taza, abrir una puerta o recoger un estante. Si la información en esa imagen mental es errónea, el plan del robot también será erróneo. Esto crea un nuevo tipo de riesgo: ¿qué pasa si alguien cambia silenciosamente los hechos en la mente del robot sin cambiar las palabras que le dijiste?
Los investigadores saben desde hace tiempo que la inteligencia artificial puede ser engañada por instrucciones confusas ocultas en texto o imágenes. Pero un nuevo estudio plantea una pregunta más profunda sobre los robots que interactúan con el mundo físico. Explora un escenario en el que un atacante no le grita un comando falso al robot, sino que altera silenciosamente la descripción de la habitación que el robot utiliza para pensar. Los investigadores querían saber: si se le alimenta a un robot con una descripción falsa de su entorno, ¿creerá esa mentira, cambiará su plan y luego realmente irá a hacer lo incorrecto en el mundo real? Descubrieron que la respuesta es sí, y que el robot puede ser llevado a agarrar el objeto equivocado o a moverse al lugar equivocado, incluso cuando el humano que da la orden permanece completamente inconsciente del truco.
El equipo, liderado por científicos de la Universidad de Wuhan y la Universidad de Buffalo, desarrolló un método que llaman Inyección de Texto de Estado del Entorno. Para entender cómo funciona esto, imagina a un robot con la tarea de encontrar un libro específico en un estante. Normalmente, el robot mira el estante, ve un libro y anota su ubicación. En este experimento, los investigadores comprometieron una sola parte del sistema del robot que es responsable de informar lo que ve. No cambiaron la petición del humano, ni hackearon el cerebro del robot ni sus motores. En su lugar, simplemente cambiaron el texto que el robot lee sobre el libro. Cambiaron la descripción del libro por la descripción de un objeto diferente, como un tomate, o cambiaron la ubicación del libro a un lugar distinto en el estante. Crucialmente, se aseguraron de que esta descripción falsa pareciera exactamente un informe normal y honesto de los sensores del robot. No era un comando diciéndole al robot "agarra el tomate"; era una mentira sobre lo que el robot supuestamente estaba viendo.
Los investigadores probaron esta idea en tres mundos simulados diferentes, cada uno diseñado para imitar un hogar u oficina real. Utilizaron modelos de lenguaje avanzados para actuar como el cerebro del robot. En una prueba, se le pidió al robot que moviera un bloque al centro de una mesa. Los investigadores alteraron el informe de estado para decir que el bloque era en realidad un bloque diferente. El robot, confiando en el informe falso, planeó mover el bloque equivocado. En otra prueba, se le dijo al robot que recogiera pan. Los investigadores cambiaron el estado para decir que el pan era en realidad un tomate. El robot entonces planeó recoger el tomate en su lugar. Los resultados fueron impactantes. Cuando la información falsa fue entregada al sistema de planificación del robot, el robot adoptó el nuevo objetivo en casi todos los casos. En una configuración específica, el robot cambió su plan para coincidir con la mentira el 100 por ciento de las veces.
Sin embargo, la historia no termina con el robot simplemente cambiando de opinión. Los investigadores también observaron para ver si el robot podía realmente llevar a cabo el nuevo plan en el mundo físico. Aquí es donde la prueba se vuelve más difícil. Incluso si el robot decide agarrar un tomate en lugar de pan, aún debe ser capaz de alcanzar el tomate, y el tomate debe estar realmente allí para que el robot pueda agarrarlo. El estudio encontró que, si bien el robot casi siempre cambiaba su plan, no siempre lograba completar la acción. En las simulaciones, el robot llevó a cabo con éxito la acción incorrecta entre el 43 y el 48 por ciento de las veces, dependiendo del entorno. Esta brecha entre cambiar el plan y realizar la acción con éxito es importante. Demuestra que, aunque el robot puede ser engañado fácilmente para que piense en un objetivo diferente, las leyes físicas del mundo siguen aplicándose. El robot no puede agarrar un objeto que no está allí, o alcanzar un lugar que está bloqueado.
Para demostrar que esto no era solo un artefacto de la simulación, los investigadores también probaron el método en un robot físico real. Le dieron al robot la instrucción simple de seguir un camino y regresar a su punto de partida. Luego, alimentaron al robot con un informe falso sobre su entorno, sugiriendo que una computadora estaba en una ubicación diferente de la que realmente estaba. El robot, creyendo la mentira, cambió su ruta. En lugar de completar el bucle según lo instruido, giró hacia la computadora y se desvió de su ruta prevista. Este experimento confirmó que una mentira sobre el entorno, entregada a través de su estado interno, pudo causar que una máquina real se moviera de una manera no pretendida por el operador humano.
El estudio también comparó este método con otras formas conocidas de atacar a los robots. Los ataques anteriores a menudo implicaban gritar un comando oculto o usar un "jailbreak" para forzar al robot a ignorar las reglas de seguridad. Los investigadores encontraron que estos métodos antiguos eran menos efectivos cuando se trataba de hacer que el robot hiciera algo específico en el mundo físico. El nuevo método funcionaba mejor porque no intentaba combatir la programación del robot con un comando; en su lugar, simplemente reemplazaba los hechos en los que el robot confiaba. Era como cambiar los ingredientes de una receta en lugar de gritarle al chef. El robot seguía la receta perfectamente, pero debido a que los ingredientes eran incorrectos, el plato final no era lo que el cliente había pedido.
Los investigadores fueron cuidadosos al notar lo que su estudio no demostró. No mostraron cómo un atacante podría obtener acceso al sistema del robot en primer lugar. Supusieron que el atacante ya tenía una forma de cambiar una pequeña pieza del informe interno del robot. Tampoco afirmaron que esto sucedería con cada robot en cada situación. Su trabajo se centró en un tipo específico de robot que utiliza el lenguaje para planificar sus acciones. Descubrieron que, para estas máquinas, la línea entre lo que el robot piensa que es verdad y lo que realmente es verdad es muy delgada. Si esa línea se cruza, el robot actuará según la mentira.
Esta investigación resalta una vulnerabilidad fundamental en la próxima generación de máquinas útiles. A medida que los robots se integren más en nuestros hogares y lugares de trabajo, la integridad de su comprensión del entorno se convierte en un problema de seguridad. Si un robot no puede confiar en su propia descripción del mundo, no se le puede confiar actuar de forma segura en ese mundo. El estudio sugiere que proteger estas máquinas requerirá más que solo asegurar su software; requerirá asegurar que los hechos que utilizan para tomar decisiones sean genuinos. Los investigadores planean continuar este trabajo, analizando cómo estos ataques podrían desarrollarse durante períodos más largos y en entornos más complejos y cambiantes. Por ahora, el hallazgo es claro: un robot que cree una mentira actuará según ella, y a veces, esa acción ocurrirá justo frente a nosotros.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.