Auditing LLM-mediated interpretation through source-to-claim documentation

En las humanidades y las ciencias sociales, los investigadores han dependido durante mucho tiempo de una idea simple pero poderosa: si quieres entender cómo se llegó a una conclusión, debes ser capaz de rastrear el camino desde la evidencia original hasta la afirmación final. Este camino se llama a menudo una "pista de auditoría" (audit trail). Es un registro de las decisiones tomadas, las notas tomadas y los pasos seguidos, asegurando que otro académico pueda observar los mismos materiales y ver cómo se construyó la interpretación. Durante décadas, este proceso ha sido de humano a humano, donde un investigador lee un texto, resalta un pasaje y escribe un análisis. Pero una nueva herramienta ha entrado en la sala: la inteligencia artificial generativa. Estos sistemas pueden leer un texto y escribir instantáneamente un párrafo fluido que lo resume o lo interpreta. El problema es que esta velocidad conlleva un costo oculto. La IA produce una oración suave y pulida que oculta el trabajo desordenado de transformación que ocurrió dentro de la máquina. Un lector ve la afirmación final, pero no puede ver cómo la máquina convirtió las palabras originales en esa conclusión específica. Peor aún, debido a que estos sistemas de IA están alojados en servidores propiedad de empresas, los investigadores no pueden simplemente "volver a ejecutar" exactamente el mismo cálculo más tarde. El software podría cambiar, o la misma pregunta podría obtener una respuesta ligeramente distinta la próxima vez. Esto crea una brecha en la pista de auditoría, dejando la conexión entre la evidencia y la afirmación frágil y difícil de verificar.

Para resolver esto, un equipo de investigadores de la Universidad de Minnesota y del Instituto de Tecnología de Georgia propuso una nueva forma de trabajar llamada "documentación de la fuente a la afirmación" (source-to-claim documentation). En lugar de solo decir: "Usamos una IA", sugieren mantener una cadena completa y vinculada de registros que muestre exactamente cómo una pieza de evidencia se convirtió en una afirmación analítica. Este marco no solo enumera las herramientas utilizadas; preserva el viaje específico de cada una de las piezas de texto generado. Los investigadores probaron esta idea en un experimento controlado donde crearon doce oraciones simples para que actuaran como material de origen. Pidieron a dos versiones diferentes de un modelo de IA que reescribieran estas oraciones y escribieran notas interpretativas cortas sobre ellas. El objetivo no era ver qué IA era más inteligente, sino ver si su nuevo método de documentación podía detectar errores que de otro modo pasarían desapercibidos. Descubrieron que la IA a menudo realizaba cambios sutiles pero significativos que parecían inofensivos en la superficie. Por ejemplo, cuando la oración original decía que una mujer le "prestó" sus notas a un amigo, la IA la reescribía repetidamente como si se las "dio" a sus notas. En el mundo real, "prestar" implica que el objeto será devuelto, mientras que "dar" implica la propiedad permanente. La IA realizó este cambio cada vez, produciendo oraciones idénticas y fluidas que sonaban correctas, pero que en realidad habían alterado el significado de la evidencia original.

El poder del nuevo método se hizo evidente cuando los investigadores miraron más allá del texto final. Introdujeron un paso en el que pedían a la IA que creara un mapa estructurado del significado de la oración junto con el texto reescrito. Este mapa actuaba como un plano, mostrando las relaciones entre las palabras. Cuando los investigadores compararon el plano con la oración original, el error saltó a la vista: el mapa todavía mostraba la acción como "prestar", a pesar de que el párrafo final decía "dar". Esto reveló que la IA había cometido un error constante que la prosa fluida había logrado ocultar con éxito. Los investigadores también descubrieron que, cuando la IA escribía notas interpretativas, a veces añadía ideas que no estaban en el texto original, como suponer la motivación de una persona, a pesar de que se le requería citar la fuente directamente. Al mantener la oración original, la salida bruta de la IA, el mapa estructurado y la revisión humana todos vinculados en un único archivo, los investigadores pudieron ver exactamente dónde cambió el significado. Descubrieron que el simple hecho de comprobar si dos ejecuciones de la IA producían la misma respuesta no era suficiente, porque la IA podía estar de acuerdo consigo misma mientras ambas eran erróneas.

El estudio contó con la participación de ocho lectores humanos que revisaron el trabajo de la IA. Estos lectores confirmaron que, si bien las oraciones reescritas por la IA a menudo se veían muy similares a la original, frecuentemente cambiaban el significado de maneras que importaban. En un caso específico relacionado con una oración sobre un préstamo, los lectores identificaron que el cambio de "prestar" a "dar" era una distorsión significativa en más de la mitad de las evaluaciones. Los investigadores también probaron si su método podía manejar los cambios en el propio sistema de IA. Realizaron el experimento con dos versiones diferentes del modelo de IA, separadas por meses. A pesar de que los modelos eran diferentes, el método de documentación les permitió rastrear la historia de la afirmación y ver cómo se transformó la evidencia en cada caso. El hallazgo clave fue que el marco preservó con éxito la "trayectoria de la evidencia". Permitió que un investigador posterior mirara la afirmación final, siguiera el enlace de vuelta a la salida bruta de la IA y luego verificara el mapa estructurado para ver si el significado se había preservado. Este proceso no requería que el investigador confiara en la IA o creyera que el texto final era perfecto; simplemente requería que tuviera el registro completo de cómo se hizo el texto.

Este enfoque ofrece un camino práctico para los investigadores que desean utilizar la IA sin perder la capacidad de verificar su trabajo. Los investigadores sugieren que la cantidad de documentación debe coincidir con la importancia de la afirmación. Para una nota privada o un ejercicio de clase, un registro simple de la fuente y el prompt podría ser suficiente. Pero para un artículo publicado o un conjunto de datos destinado a ser utilizado por otros, la cadena completa de evidencia —incluyendo la salida bruta, las verificaciones estructuradas y la revisión humana— debe ser guardada. Esto no significa que cada una de las oraciones necesite una auditoría completa, pero sí significa que cuando una afirmación depende de la interpretación de una IA, el camino desde las palabras originales hasta esa afirmación debe permanecer visible. El estudio demostró que, sin esta visibilidad, la prosa fluida puede ocultar errores fácilmente, y que el acuerdo repetido entre las ejecuciones de la IA puede dar una falsa sensación de seguridad. Al mantener intactos los vínculos entre la fuente, la máquina y el revisor humano, los investigadores pueden asegurar que sus conclusiones se construyan sobre una base que pueda ser inspeccionada, cuestionada y comprendida por cualquiera que siga la pista.