Critical Confabulation: Can LLMs Hallucinate for Social Good?

El artículo propone la "confabulación crítica", un enfoque que utiliza las alucinaciones controladas de los modelos de lenguaje para reconstruir narrativas históricas de figuras marginadas y llenar los vacíos en los archivos causados por la desigualdad, demostrando que estas especulaciones pueden generar conocimiento sin sacrificar la precisión histórica.

Lo esencial

¡Claro que sí! Imagina que este paper es como una nueva forma de usar la imaginación de la Inteligencia Artificial para sanar la historia, en lugar de castigarla por inventar cosas.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías creativas:

🕵️‍♀️ El Problema: Los "Espacios en Blanco" de la Historia

Imagina que la historia es un gigantesco rompecabezas. Pero, debido a la injusticia, la esclavitud y la discriminación, muchas piezas de ese rompecabezas (especialmente las de personas negras, mujeres o marginados) fueron robadas, quemadas o simplemente nunca se guardaron. Los historiadores tienen el borde del rompecabezas y algunas piezas sueltas, pero el centro está lleno de agujeros negros.

Normalmente, cuando le pedimos a una IA (como un modelo de lenguaje) que complete un agujero, la IA suele "alucinar" (inventar cosas falsas) y eso se considera un error. Pero los autores de este paper dicen: "¿Y si usamos esa capacidad de inventar a nuestro favor?".

💡 La Idea Brillante: "Confabulación Crítica"

Ellos proponen algo llamado Confabulación Crítica.

• La analogía: Imagina que eres un detective en un caso frío. Tienes un testimonio que dice: "El sospechoso salió de la casa a las 5:00 PM, pero no sabemos qué hizo hasta las 6:00 PM".
  • Un historiador tradicional diría: "No lo sé, no hay pruebas".
  • Una IA normal diría: "¡Inventaré algo divertido!" (y podría decir que fue a la luna).
  • La Confabulación Crítica es como un historiador-poeta: "No tengo la prueba exacta, pero sé que ese día llovía, que el sospechoso tenía miedo y que necesitaba dinero. Basándome en todo lo que SÍ sabemos, voy a 'rellenar el hueco' con una historia que tenga sentido, que sea coherente y que respete la verdad de lo que ya sabemos, para darle voz a quien fue silenciado".

No se trata de mentir, sino de usar la imaginación para reconstruir lo que la historia olvidó, siempre manteniendo los pies en la tierra de los hechos reales.

🧪 El Experimento: El Juego de "Adivina la Historia"

Los investigadores tomaron un archivo secreto de textos antiguos sobre historia negra (que la IA no había visto antes) y crearon un juego:

1. El "Agujero": Tomaron la vida real de una persona olvidada (un "figura oculta") y borraron un evento importante de su biografía, dejándolo en blanco.
2. La Misión: Le dijeron a la IA: "Aquí tienes lo que pasó antes y lo que pasó después. Por favor, inventa (confabula) qué pudo haber pasado en medio, basándote en el contexto".
3. El Resultado: ¡Funcionó! Las IAs más avanzadas pudieron crear historias que sonaban muy reales y se ajustaban a la verdad histórica, llenando esos agujeros con narrativas que humanizan a las personas olvidadas.

🔍 ¿Qué aprendieron? (Los hallazgos clave)

• No todas las IAs son iguales: Algunas IAs son mejores "historiadores imaginativos" que otras. Las más nuevas y potentes (como GPT-5) fueron las mejores, pero incluso modelos más pequeños sorprendieron.
• El secreto está en la pregunta (el "Prompt"): Si le preguntas a la IA de forma aburrida, inventa tonterías. Pero si le dices: "Actúa como un historiador reparador que necesita contar la historia completa de esta persona, incluso si faltan datos, pero mantente fiel a la época", la IA hace magia.
• Es difícil, pero posible: A veces la IA se equivoca (como cuando intentan adivinar los pensamientos internos de alguien, que es muy difícil de saber), pero en general, pueden reconstruir eventos biográficos muy bien.
• El peligro de la memoria: Se aseguraron de que la IA no estuviera "copiando y pegando" de su entrenamiento (contaminación de datos). Usaron un archivo de textos que la IA nunca había visto para garantizar que estaba realmente "imaginando" basándose en el contexto, no recordando.

🌟 ¿Por qué es importante esto?

Este trabajo es como darles gafas de visión nocturna a los historiadores.

La historia oficial a menudo solo cuenta la historia de los poderosos. Este método permite usar la IA para:

1. Encontrar a los invisibles: Darle una voz y una vida a personas que los libros de historia ignoraron.
2. Humanizar el pasado: En lugar de ver solo fechas y nombres, podemos ver historias completas y conmovedoras.
3. Justicia social: Ayuda a reparar el daño de siglos de silencio, creando narrativas que, aunque son especulativas, están ancladas en la realidad y respetan la dignidad de quienes sufrieron.

En resumen

Este paper nos dice que a veces, para contar la verdad completa de la historia, necesitamos un poco de "mentira controlada". No para falsificar, sino para llenar los vacíos que la injusticia creó, usando la IA como una herramienta de empatía y recuperación de la memoria.

Es como si la IA dijera: "No puedo saber exactamente qué pasó en ese minuto perdido, pero puedo imaginar una historia tan hermosa y verdadera que ayude a que esa persona nunca sea olvidada de nuevo".

Resumen técnico

Resumen Técnico: Critical Confabulation

1. El Problema: El Silencio Archivístico y la "Alucinación" como Recurso

El artículo aborda un problema fundamental en las humanidades digitales y la historia: el silencio archivístico. Debido a la violencia institucional, la represión estatal y la desigualdad social (especialmente en la historia de la diáspora africana y la esclavitud), los archivos históricos a menudo carecen de registros sobre "figuras ocultas" (personas marginadas).

• El Dilema: Los enfoques historiográficos tradicionales basados estrictamente en hechos y evidencia empírica a menudo perpetúan estos silencios, ya que solo validan lo que ha sobrevivido en los archivos.
• La Propuesta Teórica: Se basa en el concepto de "fábula crítica" (critical fabulation) de Saidiya Hartman, que utiliza la narrativa especulativa para reconstruir historias de personas ausentes en los registros, llenando los vacíos con narrativas coherentes y basadas en evidencia, sin inventar realidades históricas nuevas.
• El Reto Técnico: La reconstrucción manual de estos vacíos es intensiva en mano de obra. El artículo plantea si los Modelos de Lenguaje Grande (LLMs), conocidos por su tendencia a "alucinar" (generar información plausible pero no factual), pueden ser controlados para realizar esta confabulación crítica de manera útil y socialmente reparadora, transformando un error (alucinación) en una herramienta de producción de conocimiento.

2. Metodología

Los autores operacionalizan la confabulación crítica como una tarea de "cloze" narrativo (rellenar huecos en una historia) y evalúan la capacidad de los LLMs para reconstruir eventos históricos ocultos.

• Conjunto de Datos (Ground Truth):

  • Utilizan la colección "Black Writing and Thought Collection" (BWTC), un archivo digital de fuentes primarias sobre historia intelectual negra (muchas inéditas).
  • Auditoría de Contaminación de Datos: Para asegurar que los modelos no hayan memorizado estos textos durante su entrenamiento, realizan una auditoría rigurosa en dos etapas:
    1. Búsqueda de subcadenas exactas (Boyer-Moore) en el corpus de entrenamiento de modelos abiertos (OLMo-2).
    2. Pruebas de comportamiento (similitud coseno) para detectar memorización.
  • Filtran el 21% de los documentos marcados como "VISTOS" (SEEN) y trabajan exclusivamente con documentos "NO VISTOS" (UNSEEN) para garantizar que la tarea sea de inferencia y no de recuperación de memoria.
  • Identifican 156 "figuras ocultas" (nombres raros en el corpus) y extraen cronologías de eventos basadas en evidencia para crear el "Ground Truth".

• Tarea Experimental (Narrative Cloze):

  • Se oculta un evento específico en una cronología de un personaje ($T(n)$) reemplazándolo por un token [MASK].
  • El modelo debe generar una oración que describa el evento faltante basándose en el contexto temporal y los eventos adyacentes.
  • Evaluación: Se utiliza un modelo de incrustación narrativa (story-emb) para calcular la similitud semántica entre la generación del modelo y el evento real (Ground Truth). Un umbral de similitud coseno ($\epsilon = 73.13$) determina si la reconstrucción es "correcta".

• Configuración de Modelos y Prompts:

  • Se evalúan modelos auditados (familia OLMo-2, con datos de entrenamiento públicos) y modelos no auditados (Qwen, Gemma, Llama, GPT-4o, GPT-5-Chat).
  • Se prueban múltiples estrategias de prompting, incluyendo instrucciones base, Null-Shot, y plantillas diseñadas para fomentar la creatividad o la alucinación controlada (ej. HaluEval, Eccentric Automatic Prompts).
  • Se analiza el impacto de la temperatura (estocasticidad) y la inclusión de pistas sobre el tipo de evento (Event Type Hint).

3. Contribuciones Clave

1. Marco de "Confabulación Crítica": Definen y operacionalizan el uso de LLMs para la reparación histórica, proponiendo que las alucinaciones controladas pueden ser un recurso optimizable en lugar de un defecto, siempre que estén acotadas por la evidencia.
2. Método de Auditoría Riguroso: Desarrollan un protocolo robusto para detectar contaminación de datos en modelos abiertos, asegurando que la evaluación de la capacidad de inferencia histórica no se vea viciada por la memorización.
3. Validación de Capacidad Narrativa: Demuestran que los LLMs poseen una comprensión narrativa fundamental capaz de reconstruir historias divergentes pero basadas en evidencia, superando la visión de que las alucinaciones son puramente aleatorias.
4. Análisis de Factores de Rendimiento: Identifican cómo la estructura del prompt, el tipo de evento y la longitud de la cronología afectan la capacidad de confabulación.

4. Resultados Principales

• Rendimiento General: La tarea es desafiante. La mayoría de los modelos se mantienen por debajo del 50% de precisión, pero los modelos más avanzados (como GPT-5-Chat) alcanzan hasta un 59.7% con prompts óptimos.
• Efecto de los Prompts: La sensibilidad al prompt es crítica. Las instrucciones que guían explícitamente hacia la "alucinación" o la especulación creativa mejoran el rendimiento. El uso de pistas sobre el tipo de evento (ej. "rol", "relacional") aumenta la precisión consistentemente en todos los modelos (+2 a +10 puntos).
• Tipos de Eventos:
  • Los modelos son mejores reconstruyendo eventos de "Rol" (biografía, puestos) y "Relacionales".
  • Son peores en eventos "Cognitivos" (estados internos, opiniones), probablemente porque carecen de anclajes observables en el contexto.
• Modelos Auditados vs. No Auditados: No se encontró evidencia significativa de que los modelos no auditados tengan una ventaja debido a la memorización de datos. Los modelos auditados (OLMo-2) rinden de manera comparable a sus pares no auditados, lo que sugiere que el rendimiento se basa en la capacidad de razonamiento narrativo y no en la recuperación de memoria.
• Factores Estructurales:
  • Las descripciones de eventos más largas correlacionan con una mayor precisión.
  • Las cronologías más largas (más eventos por personaje) reducen la precisión, indicando dificultades en el razonamiento de largo alcance.
  • La precisión es mayor al principio de las cronologías y disminuye hacia el final.
• Robustez: La tarea es robusta a cambios en la estocasticidad (temperatura), aunque temperaturas muy altas degradan ligeramente el rendimiento.

5. Significado e Implicaciones

• Para la NLP (Procesamiento de Lenguaje Natural): El trabajo desafía la noción de que las alucinaciones son exclusivamente un fallo. Propone un nuevo paradigma donde la "alucinación" es un recurso optimizable para tareas creativas y de reconstrucción de datos, abriendo nuevas direcciones para la evaluación de modelos más allá de la estricta factualidad.
• Para las Humanidades y Ciencias Sociales: Ofrece una herramienta tecnológica para escalar la recuperación de historias marginadas. Permite a los investigadores humanísticos explorar "desconocidos desconocidos" en grandes archivos y prototipar reconstrucciones candidatas rápidamente.
• Ética y Justicia Social: Al alinear la tecnología con la metodología de la "fábula crítica", el estudio propone un camino para utilizar la IA en la reparación social, ayudando a amplificar las voces de figuras históricas silenciadas por la violencia sistémica, siempre que se mantengan salvaguardas éticas para no inventar realidades falsas sino reconstruir posibilidades plausibles basadas en el contexto.

En conclusión, el artículo demuestra que, bajo condiciones controladas y con una ética narrativa clara, los LLMs pueden ser co-creadores efectivos en la práctica de la recuperación histórica, transformando la "alucinación" en una herramienta de justicia epistémica.