← Últimos artículos
💬 Procesamiento del lenguaje natural

A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination

Este artículo propone un marco mecánico unificado que explica tanto el aprendizaje en contexto como la alucinación fuera de contexto como resultados de cómo la información de rol se representa y agrega internamente, demostrando que la adherencia exitosa a las reglas frente a la alucinación depende de la magnitud y la coherencia de las contribuciones del espectro de rol en puntos de decisión clave.

Autor original: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Publicado 2026-11-19
📖 6 min de lectura🧠 Análisis profundo

Autor original: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por el autor. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los modelos de lenguaje extensos son los motores detrás de una nueva generación de inteligencia artificial, capaces de leer una instrucción y generar texto de apariencia humana bajo demanda. Una de sus habilidades más celebradas es el aprendizaje en contexto, donde un modelo puede inferir una regla específica a partir de los ejemplos proporcionados en una instrucción y seguirla fielmente. Si un usuario le pide al modelo que resuma una lista de registros como un objeto JSON, el modelo puede aprender ese formato y aplicarlo perfectamente. Sin embargo, estos mismos sistemas sufren de un fallo frustrante conocido como alucinación. A veces, cuando se le pide que responda una pregunta basada en la evidencia proporcionada, el modelo ignora los hechos que tiene justo delante e inventa detalles que no están respaldados por el texto. Esto crea una contradicción desconcertante: ¿cómo puede la misma máquina ser tan obediente a una regla que acaba de aprender, pero tan descuidada con los hechos que se le han dado? Durante años, los investigadores han estudiado estos dos comportamientos por separado, tratándolos como fenómenos distintos. Pero esta separación ha dejado un vacío en nuestra comprensión de por qué el modelo tiene éxito en un caso y falla en el otro.

Un equipo de investigadores de la Universidad Nacional de Singapur ha cerrado ahora esta brecha analizando la mecánica interna de estos modelos. Proponen que tanto el seguimiento exitoso de las reglas como el fallo al ceñirse a los hechos dependen del mismo proceso subyacente. La clave de su descubrimiento reside en cómo el modelo procesa las diferentes partes de una instrucción. En cualquier instrucción dada, parte del texto actúa como una regla, indicándole al modelo cómo estructurar su respuesta, mientras que otra parte del texto actúa como evidencia, proporcionando los hechos específicos que se utilizarán. Los investigadores descubrieron que el modelo sí "entiende" la diferencia entre estos roles internamente. Crea un patrón de actividad específico y organizado en su red neuronal para representar si está observando una regla o una pieza de evidencia. Sin embargo, el simple hecho de tener esta representación interna no es suficiente para garantizar una respuesta correcta. El modelo puede reconocer el rol del texto sin que ese reconocimiento controle realmente su salida final.

Para descubrir cómo funciona esto, los investigadores desarrollaron una forma de medir la influencia de partes específicas de la instrucción en las decisiones del modelo. Se centraron en el "rango de rol" (role span), que es la sección específica de texto que contiene la regla o la evidencia. Al comparar el comportamiento del modelo cuando este texto está presente frente a cuando se reemplaza con contenido diferente, pudieron aislar exactamente cuánto estaba empujando ese texto específico al modelo hacia una determinada respuesta. Descubrieron que, para que un modelo siga una regla o utilice la evidencia correctamente, la influencia de ese texto debe ser lo suficientemente fuerte y debe apuntar en la dirección correcta de manera consistente. No basta con que el modelo "vea" la regla; la señal matemática de esa regla debe ser lo suficientemente grande como para superar otras señales competidoras en el cerebro del modelo, y debe alinearse con la dirección de la respuesta correcta en cada paso del proceso de generación.

El estudio revela que la razón por la que los modelos siguen las reglas tan bien pero a menudo fallan con los hechos se reduce a dónde y cómo se aplica esta influencia. Cuando un modelo está siguiendo una regla, como formatear una respuesta como una lista, la influencia del texto de la regla debe mantenerse a lo largo de muchas decisiones diferentes. El modelo debe elegir repetidamente la estructura correcta, y la señal de la regla debe seguir siendo lo suficientemente fuerte en cada uno de estos pasos para mantener al modelo en el camino correcto. En cambio, cuando se espera que un modelo utilice la evidencia, el momento crítico es mucho más específico. La influencia del texto de la evidencia debe ser lo suficientemente poderosa en el momento exacto en que el modelo decide sobre un hecho específico. Si la señal de la evidencia es demasiado débil en ese instante preciso, o si es cancelada por otras señales, el modelo derivará e inventará un hecho en lugar de usar el proporcionado.

Los investigadores probaron esta teoría interviniendo directamente en los cálculos del modelo. Descubrieron que cuando debilitaban artificialmente la señal proveniente del texto de la regla, el modelo frecuentemente olvidaba el formato que debía seguir. Del mismo modo, cuando reducían la influencia del texto de la evidencia, el modelo dejaba de usar los hechos proporcionados y comenzaba a alucinar. Quizás lo más revelador fue que demostraron que este fallo no siempre es permanente. En casos donde el modelo falló inicialmente al usar la evidencia, los investigadores pudieron revertir el error aumentando artificialmente la señal del texto de la evidencia. Cuando el apoyo para el hecho correcto fue lo suficientemente fuerte como para superar la duda inicial del modelo, este logró cambiar con éxito a la respuesta correcta. Esto sugiere que el modelo a menudo tiene la información correcta disponible internamente, pero falla al actuar sobre ella porque la señal no es lo suficientemente fuerte para ganar la competencia interna en el momento de la decisión.

Este trabajo ofrece una explicación unificada para dos comportamientos aparentemente opuestos. Sugiere que la diferencia entre un modelo que sigue las instrucciones perfectamente y uno que miente sobre los hechos no es una diferencia en cómo entiende la instrucción, sino una diferencia en cómo se mantiene la influencia de esa instrucción durante el proceso de generación. Para las reglas, la influencia debe ser una fuerza constante y persistente que guíe la estructura de la respuesta. Para los hechos, la influencia debe ser un impulso agudo y decisivo en el momento exacto en que se elige un valor específico. El estudio concluye que la fiabilidad del modelo depende de si la señal interna de la instrucción es lo suficientemente fuerte y está organizada correctamente para ganar estos momentos críticos de elección. Al comprender este mecanismo, obtenemos una imagen más clara de por qué estas poderosas herramientas a veces funcionan como un asistente perfecto y otras veces como un mentiroso confiado, y cómo la misma maquinaria interna es responsable de ambos resultados.

¿Ahogado en artículos de tu campo?

Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.

Probar Digest →