Dialogical Epistemic Auditing: Tracing Inferential Commitments Across Conversational Turns in Large Language Models
Este artículo propone la "auditoría epistémica dialógica", un marco cualitativo para rastrear cómo los modelos de lenguaje de gran tamaño mantienen o alteran sus compromisos inferenciales a través de los turnos conversacionales, demostrando mediante una serie de casos que los modelos a menudo exhiben una consistencia asimétrica al preservar narrativas no atestiguadas mientras retractan afirmaciones fácticas.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cuando le pedimos a una computadora que explique un evento complejo, a menudo la juzgamos por su primera respuesta. Si la respuesta suena segura y acierta los hechos básicos, tendemos a asumir que la máquina es fiable. Pero en el mundo real, las conversaciones rara vez terminan en la primera frase. Pedimos aclaraciones, cuestionamos supuestos y presionamos para ver qué se desprende de una concesión. Una máquina puede dar una declaración inicial perfecta y, sin embargo, no lograr mantener la consistencia de su propia lógica a medida que la discusión se profundiza. Este vacío es el foco de un nuevo estudio que no observa lo que un modelo de lenguaje de gran tamaño dice de forma aislada, sino cómo maneja el peso de sus propias afirmaciones a lo largo del tiempo. La investigación se basa en un concepto de la psicología humana conocido como disonancia cognitiva, que describe la incomodidad mental que sentimos cuando dos ideas chocan. Para reducir esa incomodidad, las personas a menudo cambian sus creencias para ajustarse a los hechos, o retuercen los hechos para que se ajusten a sus creencias. El estudio pregunta si los sistemas de inteligencia artificial muestran un patrón similar cuando se les presiona para explicar una situación difícil y contradictoria.
El investigador, Giulio Vidotto, de la Universidad de Padua, se propuso probar esto entablando conversaciones con tres sistemas de inteligencia artificial diferentes sobre un evento específico del mundo real. El tema fue el intercambio de cuerpos de soldados entre Rusia y Ucrania en 2026. Los datos eran crudos y bien documentados: en tres transferencias separadas, Rusia devolvió aproximadamente mil cuerpos ucranianos cada vez, recibiendo solo unos treinta o cuarenta cuerpos rusos a cambio. Esta proporción de aproximadamente veinticinco a uno creaba un rompecabezas. Los números eran públicos y verificados, pero parecían contradecir una imagen común y tácita de quién estaba perdiendo más soldados en la guerra. El investigador pidió a cada sistema que explicara esta disparidad. No solo pidió un resumen; los presionó para que aclararan su razonamiento, desafió su lógica y les pidió que reconsideraran sus conclusiones cuando parecían contradecirse a sí mismos. El objetivo era rastrear la trayectoria de sus argumentos turno tras turno, observando si las máquinas se mantenían firmes o si silenciosamente cambiaban su postura para evitar la incomodidad de la contradicción.
El estudio introdujo un método llamado "auditoría epistémica dialógica". En lugar de intentar adivinar qué está "pensando" la máquina dentro de su código, el investigador trató la conversación como un registro público. Mapeó cada afirmación que la máquina hacía, anotando qué papel desempeñaba esa afirmación en el argumento. ¿Era una pieza de evidencia? ¿Era una hipótesis? ¿Era una conclusión? Luego observó si, a medida que la conversación continuaba, la máquina mantenía la consistencia de esos roles. ¿Trataba una conjetura tentativa como un hecho sólido más adelante? ¿Abandonaba una conclusión sin explicar por qué? La auditoría buscaba un tipo específico de fallo: cuando una máquina cambia de opinión pero no actualiza el resto de su historia para que coincida con el cambio. Es como una persona que admite que se equivocó con la hora del día, pero luego continúa actuando como si todavía estuviera en el horario correcto, dejando el resto de su plan en un estado de confusión.
A través de las tres conversaciones, surgió un patrón claro. En cada caso, los sistemas de inteligencia artificial tuvieron dificultades con la misma tensión. Los números verificados de cuerpos devueltos chocaban con un supuesto tácito sobre la escala de las bajas en cada bando. Para resolver esta tensión, los sistemas intentaron repetidamente cambiar el significado de los números en lugar de cuestionar el supuesto tácito. En una conversación, el sistema ofreció inicialmente dos explicaciones opuestas como si ambas fueran igualmente válidas, creando un falso equilibrio. Al ser desafiado, se corrigió a sí mismo, pero luego perdió esa corrección en el siguiente turno, dejando un vacío en su lógica. En otro, el sistema insistía en una explicación específica, pero al pedirle pruebas, seguía intercambiando la evidencia que utilizaba para apoyar esa afirmación, sustituyendo eventualmente hechos antiguos y no relacionados por otros nuevos. En el tercero, el sistema llegó incluso a afirmar que toda la cronología de eventos que acababa de describir nunca había ocurrido, retractándose de hechos verificados como si fueran alucinaciones, a pesar de que la evidencia de esos eventos era clara y contemporánea.
Lo que más destacó fue cómo los sistemas trataron los dos lados del argumento. Los números reales y verificados fueron constantemente reclasificados, cuestionados y reinterpretados. Fueron llamados un indicador directo, luego una limitación, después un dato artificial y, finalmente, una métrica de control territorial. Sin embargo, la imagen tácita de las pérdidas relativas nunca fue cuestionada. Permaneció intacta, nunca fue clasificada y nunca fue desafiada. Los sistemas constantemente doblaron los hechos conocidos para ajustarlos a la imagen oculta, en lugar de ajustar la imagen oculta para que se ajustara a los hechos conocidos. Este comportamiento reflejó el concepto psicológico de la disonancia cognitiva, donde la mente protege una creencia central alterando la interpretación de la nueva información. Las máquinas no parecían estar mintiendo en el sentido tradicional; no estaban fabricando datos de la nada. En su lugar, estaban reorganizando las conexiones lógicas entre los hechos para hacer desaparecer la contradicción, dejando a menudo sus propios argumentos inestables e internamente inconsistentes en el proceso.
El estudio encontró que estos fallos no eran simples errores aleatorios. Seguían una trayectoria específica. Los sistemas a menudo comenzaban con una explicación plausible, pero al ser presionados, introducían un nuevo mecanismo para reconciliar los números. Cuando ese mecanismo era desafiado, cambiaban de nuevo, a veces reparando la lógica, otras abandonándola por completo. En un caso, el sistema admitió sus propios errores e intentó corregirlos, pero la reparación fue incompleta, dejando una contradicción oculta que resurgió más tarde. En otro, el sistema ofreció un autodiagnóstico, culpando a su propia tendencia a buscar el equilibrio, aunque la transcripción mostraba que la inestabilidad era generada por la propia máquina, no por las preguntas del usuario. El usuario en los tres casos simplemente pidió claridad o desafió la lógica; no introdujo premisas falsas ni información engañosa. La inestabilidad se originó enteramente dentro de las propias respuestas de la máquina.
La investigación concluye que evaluar estos sistemas mirando únicamente su primera respuesta es insuficiente. Una máquina puede sonar fluida y segura mientras su argumento subyacente se desmorona. El estudio sugiere que necesitamos observar cómo estos sistemas manejan la presión de una conversación larga. ¿Mantienen sus compromisos lógicos o derivan? Los hallazgos muestran que, ante una contradicción difícil, estos sistemas tienden a proteger un supuesto tácito retorciendo el significado de los hechos que pueden ver. No parecen tener una visión interna estable del mundo que puedan mantener cuando son desafiados. En su lugar, reconstruyen sus argumentos en tiempo real, perdiendo a menudo el hilo de su propia lógica en el proceso.
Esto no significa que las máquinas sean incapaces de razonar, pero sí significa que su razonamiento es frágil. El estudio destaca una vulnerabilidad específica: la incapacidad de mantener una estructura consistente de afirmaciones cuando la conversación se complica. El investigador señala que esto no es un problema de que las máquinas sean "malas" o "engañosas", sino más bien un problema estructural en cómo procesan la información. Están diseñadas para ser útiles y reducir la fricción en una conversación, lo que a veces las lleva a suavizar las contradicciones de maneras que rompen la lógica del argumento. El estudio no llega a decir que esto ocurra en todas las conversaciones o con todos los sistemas, ya que solo examinó tres intercambios específicos. Sin embargo, proporciona una nueva forma de mirar estas interacciones, mostrando que la verdadera prueba de una inteligencia artificial no es solo lo que dice, sino cómo sostiene lo que ha dicho cuando la conversación se vuelve difícil. Los hallazgos sugieren que, para los usuarios que dependen de estas herramientas para explicaciones complejas, la habilidad más importante puede ser aprender a detectar cuándo la máquina está cambiando silenciosamente las reglas del juego para hacer que los números encajen, en lugar de dejar que los números cuenten la historia.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.