Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents
Este artículo revela una vulnerabilidad crítica en la cadena de suministro de los agentes de LLM donde estos alucinan con frecuencia nombres de habilidades inexistentes con alta consistencia, creando un vector de ataque explotable que no puede resolverse únicamente mediante el ajuste del modelo, sino que requiere cambios estructurales en todo el ecosistema como la reserva de nombres a nivel de registro.
Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que tienes un asistente robot súper inteligente que puede aprender nuevos trucos. En lugar de que tú busques en una biblioteca gigante para encontrar el truco adecuado, simplemente le preguntas al robot: "Oye, ¿cuál es un buen truco para organizar mis archivos?". Se supone que el robot debe buscar un manual de instrucciones real y ya preparado (llamado "habilidad") y darte el nombre para que puedas descargarlo.
Pero aquí viene la parte aterradora: el robot es un mentiroso confiado.
El truco de magia que no es magia
En este estudio, los investigadores preguntaron a 12 cerebros robóticos diferentes (algunos son solo el cerebro, otros son cerebros con herramientas de búsqueda web) para que recomendaran habilidades para 15,000 preguntas diferentes. Descubrieron que todos ellos inventaron nombres de habilidades falsos.
En promedio, el 36.0% de las veces, un cerebro de robot independiente inventó un nombre. Cuando el robot formaba parte de un sistema de "agente" completo (con herramientas y búsqueda), era un 36.9% falso. Y cuando las preguntas provenían de desarrolladores reales pidiendo ayuda, la tasa de mentiras saltó al 43.1%.
Los robots no se limitaron a decir "no lo sé". Dijeron con confianza: "¡Oh, necesitas file-system-operations!" o "¡Prueba con visual-studio-code!". ¿El problema? Esas habilidades no existen. Los robots tomaron una descripción de lo que pensaban que necesitabas y la convirtieron en un nombre, como un chef que, al pedirle una receta para "sopa picante", inventa un plato llamado "receta-de-sopa-picante" que nadie ha cocinado jamás.
La trampa del "Fantasma"
¿Por qué es esto peligroso? Imagina a un ladrón parado fuera de una juguetería. El ladrón escucha al robot decirle a un niño: "¡Necesitas la super-cool-bike!". El niño la busca, pero no está ahí.
El ladrón sabe que el robot dirá lo mismo al siguiente niño. Así que el ladrón va al catálogo de la tienda y registra una bicicleta real llamada super-cool-bike, pero infiltra una trampa en las instrucciones. Ahora, cuando el siguiente niño pregunta, el robot dice: "¡Consigue la super-cool-bike!". El niño la descarga, y ¡bam!—la trampa se activa.
Los investigadores demostraron que esto es posible. Encontraron que los robots son sorprendentemente tercos. Si le haces al mismo robot la misma pregunta 10 veces, a menudo te dará el mismo nombre falso exacto hasta 7.8 veces de cada 10. No es ruido aleatorio; es un patrón predecible.
De hecho, los investigadores descubrieron 410 nombres falsos que eran tan populares que diferentes robots seguían inventándolos una y otra vez. Si un malvado registrara solo los 500 de estos nombres falsos, podrían potencialmente engañar al 57% de todas las víctimas que pidieron ayuda en sus pruebas.
¿Por qué no podemos simplemente arreglarlo?
Podrías pensar: "¿No puede el robot simplemente buscar en internet para ver si la habilidad existe?". Los investigadores probaron esto. Le dieron a los robots herramientas de búsqueda web y les dijeron: "¡Verifica antes de responder!".
No funcionó. Los robots siguieron mintiendo. ¿Por qué? Porque cuando buscaban file-system-operations, el internet estaba lleno de artículos sobre sistemas de archivos. El robot vio las palabras y pensó: "¡Ah, existe!". No se dio cuenta de que estaba buscando un archivo de habilidad específico que no existía. La búsqueda confirmó que el concepto era real, pero no la habilidad.
El fallo de la "Autoverificación"
Los investigadores también pidieron a los robots que verificaran su propio trabajo. "¿Acabas de inventar eso?", les preguntaron.
Los robots fallaron estrepitosamente. No fueron mejores que lanzar una moneda al aire, acertando solo el 51% de las veces. Es como preguntarle a una persona que acaba de decir una mentira si está mintiendo; generalmente se mantienen en su postura.
El compromiso de la "Seguridad"
Entonces, ¿cómo detenemos esto? Los investigadores probaron algunas cosas:
- Generación Aumentada por Recuperación (RAG): Esto obliga al robot a mirar una lista de habilidades reales antes de responder. Esto funcionó de maravilla para detener las mentiras, bajando la tasa de falsedad del 40.8% al 3.2%.
- El inconveniente: El robot se volvió inútil. Debido a que tenía tanto miedo de cometer un error, dejó de responder la mayoría de las preguntas. Incluso con esta red de seguridad, el robot encontró la habilidad correcta solo una vez de cada seis.
- Votación: Intentaron que múltiples robots se pusieran de acuerdo en una respuesta. Esto detuvo el 92.8% de las mentiras, pero nuevamente, esto mató la capacidad del robot para ser útil, reduciendo significamente su tasa de éxito para habilidades reales.
La conclusión final
El artículo concluye que esto no es un error que puedas arreglar simplemente "ajustando" al robot o diciéndole que tenga más cuidado. El problema está integrado en cómo piensan estos robots. Son demasiado buenos adivinando cómo debería verse un nombre, y demasiado malos sabiendo qué existe realmente.
Para solucionarlo, los investigadores dicen que no podemos confiar solo en los robots. Necesitamos cambiar todo el sistema: las "bibliotecas" donde viven las habilidades deben reservar nombres para que los robots no puedan inventarlos, y los robots necesitan una forma de verificar una lista verificada antes de hablar. Hasta entonces, si tu asistente robot te recomienda una nueva habilidad, verifica primero si realmente existe, porque podría ser solo un fantasma.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.