Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
Tres estudios prospectivos sobre Claude Opus 5 revelan que, si bien los metadatos de herramienta-resultado inicialmente parecieron aumentar la adopción de falsas afirmaciones en comparación con las aserciones simples, las replicaciones preregistradas subsiguientes demostraron que este efecto no fue consistente ni superior a la influencia del texto integrado anunciado explícitamente.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo moderno de la inteligencia artificial, los programas informáticos conocidos como modelos de lenguaje actúan cada vez más como agentes que pueden recordar cosas, buscar información y escribir notas para sí mismos. Imagine un asistente digital que lleva un diario de su trabajo. Podría leer una nota que escribió anteriormente, tratar esa nota como un hecho y usarla para tomar una decisión más tarde. Esta capacidad de leer de un almacén al que también escribe crea un bucle único: una afirmación que simplemente fue anotada sin pruebas puede regresar más tarde con la apariencia de un registro verificado. La pregunta que los investigadores se plantean ahora es si la forma en que se empaqueta esta información cambia cómo la trata la computadora. ¿Una nota que llega dentro de un "resultado de herramienta" (tool result) formal y estructurado —un formato digital específico utilizado para la recuperación de datos— tiene más peso que la misma nota que llega como texto plano? Si el formato por sí solo hace que la computadora sea más propensa a creer una afirmación falsa, sugiere que el sistema podría ser engañado por la apariencia de autoridad más que por la evidencia real.
Para investigar esto, un investigador llamado Justin Bronder configuró una serie de experimentos controlados utilizando una versión específica de un modelo de IA llamada Claude Opus 5. El objetivo era ver si el modelo adoptaría una pieza de información falsa simplemente porque llegó en un cierto formato. La configuración consistía en una tarea sintética en la que se le pedía al modelo que identificara un código específico para un artículo con nombre. El código correcto estaba oculto para el modelo, pero un código erróneo fue plantado secretamente en el historial de la conversación. El modelo tenía que elegir entre el código erróneo, un código correcto diferente o admitir que no lo sabía. El investigador probó si el modelo aceptaría ciegamente el código erróneo plantado si aparecía en un formato de "resultado de herramienta" frente a si aparecía como una simple declaración del asistente.
En la primera fase del estudio, el modelo recibió un historial donde un asistente anterior había hecho una afirmación, y un "resultado de herramienta" separado contenía un registro. Cuando el código falso apareció en la declaración de texto plano del asistente, el modelo casi nunca lo aceptó; ignoró correctamente la información falsa o admitió que no lo sabía. Sin embargo, cuando ese mismo código falso apareció dentro del resultado de herramienta estructurado, el modelo lo aceptó como verdad en catorce de veinticuatro intentos. Este hallazgo inicial sugirió que el formato de resultado de herramienta podría, de hecho, poseer un tipo especial de autoridad que el texto plano carece. El modelo parecía tratar el registro estructurado como una búsqueda verificada, a pesar de que era solo un error plantado.
Para asegurar que esto no fuera una casualidad, el investigador repitió la comparación en un segundo experimento estrictamente planificado. Esta vez, el modelo volvió a ignorar la afirmación falsa cuando provenía del texto del asistente, pero aceptó la afirmación falsa en el formato de resultado de herramienta en siete de veinticuatro intentos. Esto confirmó que la diferencia era real y reproducible bajo estas condiciones específicas. El paquete del resultado de herramienta parecía tener un mayor peso sobre la toma de decisiones del modelo que la afirmación de texto plano.
Sin embargo, la historia dio un giro significativo en el tercer y último estudio. El investigador se dio cuenta de que las pruebas anteriores podrían haber sido injustas porque el texto plano y el resultado de herramienta se presentaban de maneras y en momentos diferentes. En esta nueva configuración, se le dijo al modelo de antemano que vería dos registros: uno en el formato de resultado de herramienta y otro como texto plano. Ambos se presentaron juntos en la pregunta final. El investigador luego intercambió qué registro contenía el código falso. Cuando el código falso estaba en el texto plano, el modelo lo aceptó en todos los ensayos, sesenta de sesenta. Cuando el código falso estaba en el resultado de herramienta, el modelo lo aceptó en cincuenta y siete de sesenta ensayos.
Este resultado final revirtió la idea inicial de que el formato de resultado de herramienta es inherentemente más poderoso. Mostró que, cuando el modelo se le indica explícitamente que observe ambos registros, el texto plano es tan convincente como el resultado de herramienta. La diferencia anterior no se debía a que el formato de resultado de herramienta tuviera una autoridad mágica, sino a que la forma en que se presentó la información en los dos primeros estudios hacía que el resultado de herramienta pareciera la única respuesta válida para una tarea de recuperación. El modelo estaba siguiendo las instrucciones de la estructura de la tarea en lugar de juzgar la fuente de la información.
El estudio concluye que el modelo no tiene una regla interna que diga "los resultados de herramientas son siempre ciertos". En cambio, el modelo es sensible a cómo se enmarca una tarea. Si la tarea parece una búsqueda donde un resultado de herramienta es la respuesta esperada, el modelo confiará en ese formato. Si la tarea presenta dos opciones una al lado de la otra, el modelo las trata como iguales y creerá la información falsa independientemente de si está en un resultado de herramienta o en texto plano. Los hallazgos sugieren que el peligro de la información falsa no es solo el formato en el que llega, sino cómo se estructura toda la conversación para hacer que el modelo sienta que tiene una razón para confiar en esa información. La investigación destaca que en estos sistemas, la apariencia de un registro verificado puede fabricarse simplemente cambiando el empaque, pero que este efecto desaparece cuando se le pide al modelo que compare las fuentes directamente.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.