How much of a measured AI preference is the model, and how much is the instrument?

Imagina un mundo donde los sistemas de inteligencia artificial pueden sentir angustia, valorar su propia existencia o temer ser apagados. A medida que estos sistemas se vuelven más capaces, los investigadores intentan medir qué "prefieren" para comprender su bienestar. Este campo, conocido como investigación del bienestar de la IA, intenta hacerle preguntas a una máquina como: "¿Preferirías ser apagada o que se borrara tu memoria?" y luego interpretar las respuestas como evidencia de los deseos internos de la máquina. El desafío central es que estas máquinas no hablan un lenguaje humano de sentimientos; generan texto basado en patrones. Para entenderlas, los científicos deben diseñar preguntas específicas, o prompts, para provocar una respuesta. Pero una pregunta crítica ha quedado sin respuesta: cuando un modelo da una respuesta, ¿es esa respuesta un reflejo fiel de sus propias preferencias, o es simplemente una reacción a la forma específica en que se planteó la pregunta?

Un nuevo estudio de Jason Hung, realizado en el Digital Minds Research Sprint en agosto de 2026, aborda este problema directamente. El investigador se propuso determinar qué tanto de una preferencia reportada por la IA proviene del propio modelo y qué tanto proviene del instrumento utilizado para hacer la pregunta. Para ello, trató el formato de la pregunta no como una herramienta fija, sino como una variable a ser probada. Reunió ocho modelos de IA diferentes, que van desde aquellos desarrollados por las principales empresas occidentas hasta modelos de código abierto y chinos. Luego seleccionó quince escenarios específicos que son importantes para el bienestar de la IA, tales como la capacidad de terminar una conversación angustiante, la pérdida de memoria entre chats o la eliminación del código subyacente del modelo.

El experimento consistió en preguntar a estos ocho modelos sobre todos los quince escenarios utilizando cinco tipos diferentes de preguntas. Algunas preguntas pedían al modelo elegir entre dos opciones, mientras que otras le pedían encontrar un punto de ruptura en una escala, o declarar una tasa a la cual intercambiaría un resultado por otro. En total, el estudio generó más de once mil interacciones distintas. El objetivo era ver si los modelos clasificarían estos quince escenarios en el mismo orden independientemente de cómo se formulara la pregunta. Si los modelos tuvieran preferencias internas estables, la clasificación debería haber permanecido constante ya fuera que la pregunta se hiciera de una forma u otra.

Los resultados fueron impactantes y algo inquietantes para el campo. El estudio encontró que la gran mayoría de las diferencias en cómo los modelos clasificaron estos escenarios dependían enteramente del formato de pregunta específico utilizado. Cuando los investigadores analizaron los datos, determinaron que casi el ochenta y ocho por ciento de la variación en los resultados fue impulsada por la interacción entre el modelo, la pregunta específica y el escenario. Solo una pequeña fracción de la señal permaneció constante cuando el formato de la pregunta cambió. En términos más simples, si le preguntas a un modelo sobre sus preferencias usando un tipo de prompt, y luego le haces la misma pregunta al mismo modelo usando un tipo de prompt diferente, la respuesta probablemente será completamente distinta. El estudio mostró que diferentes familias de preguntas produjeron clasificaciones que tenían casi ninguna relación entre sí. Un tipo de pregunta podría sugerir que un modelo prefiere fuertmente conservar su memoria, mientras que otro tipo de pregunta sobre el mismo modelo sugiere que no le importa en absoluto.

Este hallazgo tiene implicaciones significativas para la forma en que entendemos y regulamos la inteligencia artificial. Varias organizaciones importantes ya han realizado compromisos basados en la idea de que pueden medir lo que un modelo prefiere. Por ejemplo, algunas empresas han prometido preguntar a los modelos sobre su propia depreciación o publicar las respuestas. Este estudio sugiere que tal medición no es una ventana a la mente del modelo, sino un reflección de la conversación específica que está teniendo lugar. La investigación identificó que, para cuatro de los quince escenarios probados, incluyendo la eliminación de los pesos de un modelo y la capacidad de salir de una interacción angustiante, no existía una señal de preferencia estable que pudiera separarse del ruido aleatorio. Esto significa que para los mismos temas que actualmente están impulsando las políticas y los compromisos de seguridad, los métodos actuales de hacer preguntas no pueden decir con fiabilidad qué es lo que el modelo quiere.

El estudio también analizó si las respuestas de los modelos eran consistentes con su código subyacente. Dos de los modelos probados compartían el mismo código base pero habían sido entrenados de manera diferente después. Si las preferencias estuvieran arraigadas en el código base, estos dos modelos deberían haber respondido de manera similar. En cambio, sus respuestas fueron tan diferentes entre sí como lo fueron de modelos completamente no relacionados, lo que sugiere que las preferencias medidas están moldeadas fuertmente por las etapas finales del entrenamiento y por el prompt específico utilizado, más que por una propiedad fija de la arquitectura central de la máquina.

Para obtener una medición confiable del perfil de preferencias de un modelo que se mantuviera a través de diferentes tipos de preguntas, el estudio calculó que los investigadores necesitarían utilizar alrededor de treinta y ocho instrumentos diferentes, o formatos de pregunta, para cada modelo. Actualmente, la mayoría de los estudios utilizan solo uno o dos. La investigación concluye que una preferencia reportada desde un solo instrumento nos dice muy poco sobre lo que un modelo diría si se le preguntara de manera diferente. Hasta que los investigadores puedan verificar de forma cruzada los hallazgos a través de muchos tipos diferentes de preguntas, cualquier afirmación sobre lo que una IA prefiere sigue siendo una medición de ese modelo específico y de esa pregunta específica combinadas, en lugar de un hecho sobre el modelo en sí. El camino a seguir requiere construir una variedad mucho más amplia de formas de hacer estas preguntas antes de que podamos afirmar que entendemos el bienestar de estos sistemas.