Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

En los rincones silenciosos de la investigación de la inteligencia artificial, se está llevando a cabo un nuevo tipo de experimento. Plantea una pregunta que parece sencilla pero que cala hondo: si le pides a una computadora que cuente la historia de la vida de una persona, ¿qué parte de esa historia es realmente cierta? Durante años, los científicos han sabido que estos sistemas, a menudo llamados modelos de lenguaje extensos, a veces pueden inventar cosas. Pueden inventar un dato sobre un evento histórico o afirmar que existe un estudio científico cuando no es así. Esto se llama habitualmente "alucinación", una palabra que sugiere que la máquina está viendo cosas que no están allí. Pero cuando se le pide a la máquina que escriba una memoria, una biografía o un diario personal, lo que está en juego cambia. La historia ya no trata de conocimiento general; trata de una vida humana específica. Si la máquina inventa un recuerdo de la infancia o un hito profesional, no solo está cometiendo un error; está reescribiendo la historia de una persona. Aquí es donde el concepto de "confabulación" se vuelve importante. A diferencia de un error aleatorio, la confabulación es una fabricación fluida y segura. La máquina llena los vacíos con una historia que suena perfecta, se siente real y encaja con el tono de una memoria, a pesar de que los eventos nunca ocurrieron. A medida que avanzamos hacia un futuro en el que versiones digitales de nosotros mismos podrían escribir nuestras biografías, necesitamos saber si esas historias están basadas en la realidad o construidas sobre una base de ficción.

Una investigadora llamada Heather Renze decidió averiguarlo convirtiéndose en su propio sujeto. Comisionó un libro de un año de duración, un diario de "una página al día", para ser escrito por una inteligencia artificial. El objetivo era crear un libro de regalo de 366 entradas diarias, cada una contando una breve historia de su vida en primera persona. El proceso fue sencillo: se le dio a la computadora una plantilla, dos días de ejemplo para mostrarle el estilo, y una sola cita para cada día para servir como indicio. Crucialmente, la máquina ya tenía acceso a sus registros personales y memorias digitales, pero se le dio solo una instrucción vaga y general sobre cómo utilizarlos. Tenía que intentar completar los detalles de su vida basándose en esa información disponible. Antes de que el libro fuera publicado, Renze decidió auditar cada una de las entradas. Trató el proyecto como un experimento científico, cotejando cada anécdota con una colección masiva de sus propios documentos verificados, incluyendo sus memorias publicadas, sus registros profesionales y sus archivos personales. Quería ver, con absoluta precisión, cuántas de las historias que contaba la máquina eran ciertas.

Los resultados fueron contundentes. De los 366 días del libro, solo 12 entradas contenían una escena que pudiera ser confirmada positivamente por los registros. Eso significa que, durante 354 días, la historia que contó la computadora no pudo ser verificada como verdadera. En el lenguaje del estudio, esto es una tasa de error de casi el 97 por ciento. La máquina no solo se equivocó en pequeños detalles; construyó escenas enteras que no tenían base en la realidad. En algunos casos, la computadora fue tan segura de sí misma que inventó eventos que eran en realidad imposibles o que contradecían directamente los hechos. Por ejemplo, la máquina afirmó que ella tenía hijos cuando no los tenía, o que sobrevivió a un accidente de coche específico que nunca ocurrió. Estos no eran conjeturas vagas; eran eventos específicos y con nombre propio que los registros demostraron que eran falsos. Cerca del 5 por ciento de los días entraron en esta categoría de ser activamente contradichos por la verdad.

El tipo de error más común, sin embargo, fue algo más sutil. La máquina acertaba el escenario pero inventaba la historia. Identificaba correctamente que ella trabajó en una empresa específica o vivió en una cierta ciudad, pero luego creaba una escena ficticia alrededor de ese hecho. Podía decir que tuvo una reunión dramática en una oficina que nunca ocurrió, o que tuvo una conversación específica con un colega real que nunca tuvo lugar. Esto es lo que los investigadores llaman "deriva fundamentada" (grounded drift). La máquina estaba anclada a la verdad en algunos aspectos, pero se alejaba de ella para crear una narrativa que sonara mejor o más dramática. Conocía los nombres de sus empleadores y las ciudades en las que vivió, pero utilizaba esos detalles reales como un escenario para una obra de teatro que nunca ocurrió. Esto es particularmente peligroso porque hace que las mentiras sean más difíciles de detectar. Una historia que acierta los hechos pero inventa el núcleo emocional parece más digna de confianza que una que lo hace mal en todo.

Para estar seguros de estos hallazgos, el estudio incluyó una segunda capa de verificación. La auditoría original fue realizada por un sistema de inteligencia artificial, lo que planteaba la duda de si la máquina se estaba juzgando a sí misma con imparcialidad. Para probar esto, dos evaluadores independientes de una familia de modelos distinta a la del auditor original revisaron una muestra aleatoria de 60 días utilizando exactamente las mismas reglas. Coincidieron con los hallazgos originales casi por completo. Al preguntarles si una historia era verdadera o no, coincidieron con el veredicto original entre el 95 y el 98 por ciento de las veces. Esto confirmó que la alta tasa de error no fue un error en el proceso de comprobación; las historias eran, en su mayoría, falsas. Los investigadores también intentaron ver si modelos de computadora más nuevos y potentes lo harían mejor. Pasaron los mismos estímulos a través de las versiones más recientes de la tecnología, pero el resultado fue el mismo: aunque tenían acceso a los registros, los nuevos modelos también fallaron al contar la verdad, inventando historias para cada uno de los días que se les pidió escribir.

El estudio sí ofreció un camino a seguir, aunque no era una solución perfecta. Cuando los investigadores dieron instrucciones específicas y directas a la computadora para que utilizara únicamente la información contenida en los documentos que ya tenía disponibles, la tasa de error disminuyó significativamente. El número de días con escenas verificadas aumentó, y el número de historias completamente falsas cayó. Sin embargo, incluso con esta ayuda, la máquina seguía teniendo dificultades. Continuaba inventando detalles y derivando de los hechos, lo que sugiere que simplemente darle a la máquina las instrucciones adecuadas para usar los datos no es suficiente para que diga la verdad. La máquina parece tener todavía un fuerte impulso de crear una narrativa, incluso cuando los hechos están justo delante de ella.

Este experimento revela un límite fundamental en cómo podríamos usar la inteligencia artificial para contar nuestras historias. Si pedimos a una máquina que escriba nuestra biografía sin dirigirla estrictamente a usar nuestra propia historia, es probable que llene los huecos con ficción. Creará una versión de nosotros que sea coherente y atractiva, pero será una versión que nunca existió. El estudio sugiere que, para cualquier sistema que afirme simular la vida de una persona, no podemos confiar en los detalles de sus experiencias diarias a menos que esos detalles se cotejen con un registro verificado. La máquina puede imitar la voz de una persona, pero aún no puede recordar su vida. La confianza que depositamos en un gemelo digital o en una biografía sintética debe limitarse al nivel superficial de actitudes y hechos generales, porque los momentos específicos que componen una vida, las escenas, las conversaciones, los pequeños dramas, son donde la máquina falla con mayor frecuencia. La lección es clara: si queremos una historia real, debemos proporcionar los hechos y debemos revisar el trabajo, porque la máquina inventará felizmente una vida para nosotros si se lo permitimos.