Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
Este artículo presenta SNIC, un banco de pruebas validado por humanos para evaluar Modelos de Lenguaje Extensos en la resolución de referencias basadas en normas, revelando que incluso los modelos de última generación tienen dificultades para identificar y aplicar consistentemente las normas sociales implícitas esenciales para las interacciones situadas y corporizadas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás en una cocina concurrida con un amigo. Le preguntas: "¿Me pasas una taza?". Hay tres tazas sobre la encimera: una está reluciente y limpia, y otras dos tienen manchas de café secas.
Si fueras un humano, sabrías instantáneamente que tu amigo te pasará la taza limpia. No necesitas que te diga "la limpia" porque ambos comparten una regla no escrita: No bebas de la taza sucia de otra persona. Esta regla invisible es una norma social.
Este artículo, titulado "Where Norms and References Collide" (Donde las normas y las referencias colisionan), plantea una pregunta simple pero difícil: ¿Puede la IA moderna (específicamente los Modelos de Lenguaje Extensos o LLM) averiguar a qué taza te refieres sin que se lo digas explícitamente?
Aquí está el desglose de sus hallazgos, utilizando algunas analogías cotidianas:
El problema: El "punto ciego" de la IA
Piensa en un LLM como un estudiante muy inteligente que ha leído casi todos los libros de la biblioteca. Es excelente respondiendo preguntas de cultura general y resolviendo acertijos lógicos. Sin embargo, este estudiante nunca ha vivido en una cocina, una biblioteca o un restaurante. Sabe lo que es una "taza", pero no ha aprendido las sutiles reglas no escritas de cómo se comportan las personas en esos lugares.
Los investigadores llaman a esta habilidad faltante Resolución de Referencia Basada en Normas (NBRR). Es la capacidad de observar una escena desordenada, comprender la "gramática social" (las reglas de comportamiento) y adivinar a qué está señalando alguien.
El experimento: Construyendo una "trampa de normas"
Para probar esto, el equipo creó un conjunto de datos llamado SNIC (Normas Situadas en Contexto).
- La configuración: Crearon 9,000 pequeñas historias (vignettes) que involucran tareas cotidianas como limpiar, servir comida o recoger cosas.
- La trampa: En cada historia, hacían una pregunta que parecía ambigua. Por ejemplo: "Recoge el plato".
- Escenario A: Se está limpiando la habitación. La IA debería recoger el plato sucio.
- Escenario B: Se está sirviendo la comida en la habitación. La IA debería recoger el plato limpio.
- La prueba humana: Antes de confiar en la IA, pidieron a 210 humanos reales que resolvieran estos acertijos. Los humanos coincidieron mayoritariamente en la respuesta "normativa" (por ejemplo, "Recoge el sucio porque estamos limpiando"), demostrando que las reglas eran claras para las personas.
Los resultados: La IA se pierde sin un mapa
Los investigadores probaron varios modelos de IA de alto nivel (como GPT-4, Llama y Phi) en estas 9,000 historias. Los resultados fueron como ver un GPS intentar navegar por una ciudad que nunca ha visitado:
- El fallo del "juego de adivinanza": Cuando se le daba a la IA solo la historia y se le pedía que eligiera el objeto correcto, tenía dificultades. Acertaba la respuesta correcta menos de la mitad de las veces en promedio. A menudo no podía distinguir entre una "tarea de limpieza" y una "tarea de servicio" porque no entendía la norma detrás de la tarea.
- El callejón sin salida del "lenguaje formal": Los investigadores intentaron darle a la IA una descripción matemática súper precisa de la escena (usando un lenguaje de código llamado Prolog) para eliminar toda ambigüedad. Sorprendentemente, esto no ayudó mucho. Es como darle a un conductor un mapa perfecto pero decirle: "Aun así, no conoces las leyes de tránsito". La IA conocía los hechos, pero seguía sin conocer las reglas de la carretera.
- El éxito de la "hoja de trucos": Cuando los investigadores le dieron explícitamente a la IA una lista de las reglas a seguir (por ejemplo, "Regla: En una tarea de limpieza, recoge los artículos sucios"), el rendimiento de la IA se disparó. De repente, acertaba las respuestas.
La gran conclusión
El artículo concluye que los modelos de IA actuales son como excelentes enciclopedias pero malos vecinos.
- Saben qué es una taza.
- Saben qué es limpiar.
- Pero no saben inherentemente cómo la gente usa las tazas en un contexto social, a menos que les digas la regla explícitamente.
Los autores argumentan que esto es un "punto ciego". Los modelos de IA se entrenan con texto, pero las normas sociales suelen ser implícitas (nunca se escriben) y físicamente situadas (vinculadas a objetos y acciones del mundo real). Debido a que estas reglas no siempre se declaran claramente en los libros, la IA las pasa por alto.
Por qué esto importa (según el artículo)
El artículo sugiere que si queremos que los robots o los asistentes de IA trabajen en hogares u oficinas reales, deben aprender estas reglas sociales invisibles. Actualmente, podrían entregarte una taza sucia cuando pides una bebida, no porque sean "estúpidos", sino porque no han aprendido el contrato social implícito que dice: "No hacemos eso".
En resumen: El artículo construyó una prueba para ver si la IA entiende las "reglas no escritas" de la vida diaria. Encontró que, si bien la IA es inteligente, actualmente es pésima adivinando lo que queremos decir cuando dependemos de esas reglas no escritas, a menos que primero se le expliquen las reglas detalladamente.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.