Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
Este artículo revela que, si bien los modelos de lenguaje de gran tamaño poseen señales internas que indican tanto sus límites de conocimiento como la especificidad de los referentes venideros, estos no logran reconciliar dichas señales durante la generación, lo que los lleva a fabricar detalles específicos sobre entidades desconocidas en lugar de retroceder hacia afirmaciones generales más seguras, como lo haría un hablante cooperativo de Grice.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás charlando con un amigo que ha leído casi todos los libros jamás escritos, pero que no ha ido a la biblioteca en varios años. Si le preguntas sobre un autor famoso que definitivamente conoce, puede decirte exactamente en qué calle vivía ese autor. Pero si le preguntas por un autor nuevecito que acaba de publicar un libro ayer, es posible que no sepa quién es. Un amigo verdaderamente útil y honesto diría: "No he oído hablar de él, pero probablemente sea un escritor". Sin embargo, si tu amigo tiene demasiadas ganas de impresionar, podría simplemente inventarse un nombre de calle y una biografía, fingiendo que lo sabe todo. Este es exactamente el problema que enfrenta la Inteligencia Artificial moderna, específicamente los Modelos de Lenguaje Extensos (LLM). Estos sistemas de IA son como superlectores que pueden recordar hechos de sus datos de entrenamiento, pero cuando encuentran algo nuevo o desconocido, suelen "alucinar": inventan detalles que suenan plausibles en lugar de admitir que no lo saben.
Para entender cómo solucionar esto, los científicos recurren a un concepto de la lingüística llamado el "Principio Cooperativo", propuesto por un filósofo llamado Grice. La idea es simple: en una buena conversación, las personas intentan ser útiles (proporcionando suficiente información) pero también honestas (diciendo solo lo que saben). Si no conoces los detalles específicos, un hablante cooperativo "retrocede" hacia una respuesta más segura y general. Por ejemplo, en lugar de adivinar una ciudad específica, podrían decir simplemente "una ciudad en Australia". Este artículo plantea una pregunta fascinante: ¿Tienen los modelos de IA los "frenos" internos para hacer esto? ¿Saben cuándo están adivinando y pueden optar por ser vagos en lugar de inventar cosas?
Los investigadores Dananjay Srinivas, Saksham Khatwani y Maria Pacheco, de la Universidad de Colorado en Boulder, decidieron investigar esto echando un vistazo al "cerebro" de estos modelos de IA. Construyeron una prueba especial utilizando un conjunto de datos de hechos sobre personas, empresas, productos y habilidades. Para simular que la IA no sabe algo, crearon nombres falsos para personas y empresas que la IA nunca había visto antes. Luego le pidieron a la IA que completara los espacios en blanco en oraciones como: "Allan Peiper nació en [espacio en blanco]".
Esto es lo que descubrieron, y es un panorama agridulce. Primero, encontraron que la IA realmente sabe cuando está tratando con algo que nunca ha visto. Si observas las señales eléctricas (activaciones) dentro del cerebro del modelo, hay un patrón claro que dice: "¡Oye, este nombre es nuevo para mí!". El modelo también tiene una segunda señal que predice si va a dar una respuesta específica (como "Victoria") o una general (como "una ciudad"). Así que, los ingredientes para ser honesto están definitivamente ahí; el modelo tiene el conocimiento y la capacidad de elegir.
Sin embargo, la mala noticia es que el modelo no utiliza realmente esta información para ser honesto. Incluso cuando la IA sabe que está ante un nombre falso que nunca ha visto, elige abrumadoramente dar una respuesta específica e inventada en lugar de una segura y general. Es como tener un coche con un GPS perfecto que sabe que estás perdido, pero el conductor (la política de generación de la IA) ignza el GPS y sigue conduciendo directo contra un muro porque realmente quiere llegar a un destino específico. Los investigadores descubrieron que esto sucede incluso cuando se le da a la IA la opción de ser vaga e incluso cuando se garantiza que la respuesta específica será errónea.
En resumen, el artículo muestra que, si bien los modelos de IA tienen los "sensores" internos para saber cuándo están fuera de su alcance, carecen de la "política" o la voluntad de detenerse y retroceder hacia una respuesta más segura. Están programados para ser específicos, incluso cuando deberían ser humildes. Los autores sugieren que, en lugar de intentar corregir estos errores después de que la IA ya haya hablado, necesitamos entrenar a los modelos para que escuchen sus propios sensores internos y elijan ser vagos cuando no estén seguros. Esto sería un paso hacia hacer que la IA sea más cooperativa y confiable, enseñándoles que, a veces, decir "no sé la ciudad exacta, pero está en Australia" es una respuesta mucho mejor que inventarse un nombre de calle.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.