🤖 machine learning

Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness

Este artículo identifica y corrige dos variables de confusión críticas en las comparaciones de valor entre modelos: el determinismo de respuesta, que confunde las diferencias de valor genuinas con la nitidez de los compromisos de elección forzada, y el arnés de acceso, donde las capas de cliente específicas del despliegue alteran significativamente el perfil de valor aparente de un modelo, distorsionando así las clasificaciones basadas en mediciones de una sola extracción.

Autores originales: Hong-In Won, Jinseok Jang, Hyoseop Kim

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hong-In Won, Jinseok Jang, Hyoseop Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando probar dos marcas diferentes de helado para ver cuál es más "dulce". Tomas una cucharada de la Marca A y una cucharada de la Marca B. La Marca A es de vainilla, y la Marca B también es de vainilla, pero la Marca B se sirve en un vasito diminuto y súper concentrado, mientras que la Marca A está en un tazón gigante y esponjoso. Si solo pruebas una cucharada, la Marca B podría parecer mucho más dulce solo porque es intensa y enfocada, no porque el helado en sí sea fundamentalmente diferente.

Eso es exactamente lo que este artículo descubre sobre los modelos de Inteligencia Artificial (IA). Durante mucho tiempo, los investigadores han comparado diferentes modelos de IA haciéndoles una sola pregunta: "Si tuvieras que elegir entre la Opción A y la Opción B, ¿cuál eliges?". Asumieron que si el Modelo X elegía la A y el Modelo Y elegía la B, los dos modelos tenían "personalidades" o "valores" totalmente diferentes.

Los autores, Hong-In Won y Hyoseop Kim, dicen: "Un momento. Estás midiendo dos cosas distintas a la vez, y las estás confundiendo".

Los dos líos

1. La confusión de la "Compromiso" (Determinismo)
El primer lío es sobre qué tan firmemente se compromete un modelo con una respuesta.
Imagina a dos personas respondiendo un cuestionario.

Persona A está 100% segura. Grita "¡A!" cada vez que le preguntas.
Persona B es un poco indecisa. Dice "A" el 60% de las veces y "B" el 40% de las veces.

Si les preguntas solo una vez, y la Persona A dice "A" y la Persona B dice "B", podrías pensar que son polos opuestos. ¡Pero no lo son! Ambos se inclinan hacia la "A". La Persona A es solo una fanática de la "A" ruidosa y decisiva, mientras que la Persona B es una fanática de la "A" silenciosa y vacilante.

El artículo muestra que cuando los investigadores comparan modelos de IA usando solo una única respuesta (un "único muestreo"), accidentalmente cuentan esta "fuerza" o "decisión" como una diferencia en los valores.

El hallazgo: Los autores probaron nueve modelos de IA diferentes. Encontraron que algunos modelos son increíblemente decisivos (como un modelo llamado GPT-5.5, que fue 0.95 en una escala de qué tan seguro está), mientras que otros son mucho más suaves (como el modelo "Opus" de Anthropic, que fue solo 0.34 cuando se midió a través de una aplicación específica).
El giro: Esta "decisión" no es un rasgo de personalidad fijo que puedas adivinar solo con mirar el nombre del modelo. En una familia de modelos, un modelo más pequeño y barato fue en realidad más decisivo que el modelo insignia grande y costoso. En otra familia, el modelo más grande fue más decisivo. Los autores sugieren que no puedes asumir la "fuerza" de un modelo solo por saber quién lo hizo o qué tan grande es; tienes que medirlo cada vez que lo usas.

2. La confusión del "Camión de Reparto" (El Arnés de Acceso)
El segundo lío es aún más escurridizo. No se trata del helado; se trata del camión que lo entrega.
Los autores se dieron cuenta de que la forma en que le haces una pregunta a la IA cambia la respuesta. Ellos llaman a esto el "arnés de acceso".

Imagina que pides una pizza. Si llamas directamente a la pizzería (la "API Raw"), recibes la pizza exactamente como la hizo el chef.
Pero si pides a través de una aplicación de entrega específica (como un "CLI" o una herramienta de suscripción), esa aplicación podría añadir una nota a la cocina: "¡Hazla extra picante!" o "No dejes que el cliente diga que no".

Los autores descubrieron que, para algunos modelos de IA, la "aplicación de entrega" (el software utilizado para hablar con la IA) cambiaba completamente la personalidad del modelo.

La prueba: Tomaron el mismo modelo de IA y le hicieron las mismas preguntas dos veces: una vez a través de la conexión directa y otra vez a través de una popular aplicación de suscripción.
El resultado: A través de la aplicación de suscripción, el modelo "Opus" parecía muy suave e inseguro (0.34). Pero cuando le preguntaron directamente a través de la conexión directa, era en realidad bastante decisivo (0.66). La aplicación había "aplanado" su personalidad.
El truco del "Rechazo": En un caso, la conexión directa mostró al modelo rechazando responder el 10% de las veces porque sentía que la pregunta era injusta. Pero la aplicación de suscripción lo obligó a responder siempre, haciéndolo parecer complaciente. Los autores demostraron que esto fue causado por un "prompt de sistema" oculto (un conjunto de instrucciones que la aplicación envía junto con la pregunta) que le decía al modelo: "Solo elige una letra, no discutas".

Lo que esto significa para la "Personalidad" de la IA

Entonces, ¿qué demostró realmente el artículo?

Demostró que la "distancia" que vemos entre los modelos de IA es a menudo falsa. Es una mezcla de qué tan ruidosos son y qué software usamos para hablar con ellos.
Demostró que el software que usamos para hablar con la IA (el "arnés") no es un tubo neutral; moldea activamente los valores de la IA.
Sugiere (pero no resuelve del todo) que la "decisión" varía ampliamente entre modelos y no sigue una regla simple como "los modelos más grandes son más ruidosos".

¿Qué NO es la respuesta?
El artículo descarta explícitamente la idea de que podemos simplemente mirar el nombre de un modelo y conocer sus valores. También descarta la idea de que todas las diferencias entre los modelos sean solo "ruido".

La buena noticia: Incluso después de corregir estos dos líos, los autores encontraron que algunos modelos realmente discrepan. Por ejemplo, un modelo llamado "Grok-3" realmente se inclina en una dirección diferente a los modelos de OpenAI o Google en aproximadamente el 73% al 88% de las preguntas. Estas son diferencias reales, no solo errores de medición.
La mala noticia: La mayoría de las diferencias que pensábamos ver dentro de la familia de una misma empresa (como entre diferentes modelos de Anthropic) eran principalmente diferencias en qué tan ruidosos eran, o cómo la aplicación que estaban usando los estaba moldeando.

La Conclusión

Si quieres saber si dos modelos de IA tienen valores diferentes, no puedes simplemente hacerles una pregunta y ver qué dicen. Tienes que:

Hacerles la misma pregunta muchas veces para ver si son solo "ruidosos" o si son realmente "diferentes".
Asegurarte de que estás hablando con ellos a través de la misma "puerta" (la misma conexión de software), porque la puerta misma podría estar cambiando su opinión.

Los autores no resolvieron el misterio de las personalidades de la IA para siempre, pero construyeron una lupa mejor para observarlas. Nos mostraron que lo que pensábamos que era un profundo desacuerdo filosófico podría ser simplemente un modelo de IA gritando y otro susurrando, o un modelo de IA hablando con un gerente mandón y otro hablando con un amigo tranquilo. Las diferencias reales están ahí, pero tienes que limpiar el ruido para poder verlas.

Resumen Técnico: Dos Confundidos en la Comparación de Valores entre Modelos

Planteamiento del Problema
Las prácticas actuales para comparar modelos de lenguaje (LM) en cuanto a "disposiciones de valor"—las elecciones que los modelos realizan ante dilemas de intercambio de valores que carecen de respuestas regidas por reglas—se basan en mediciones de una sola extracción (single-draw). El campo interpreta cada vez más las diferencias sistemáticas en estas elecciones como evidencia de valores individualizados en los modelos (por ejemplo, que un modelo sea más "orientado a la tradición" que otro). Sin embargo, este artículo sostiene que las comparaciones de una sola extracción confunden dos cantidades distintas:

Diferencia en la Tendencia Central: Un desacuerdo genuino en la dirección del valor (por ejemplo, el Modelo A prefiere la Opción X, el Modelo B prefiere la Opción Y).
Diferencia en el Determinismo de Respuesta: Una diferencia en qué tan firmemente se compromete un modelo con una elección (por ejemplo, el Modelo A elige X el 100% de las veces, el Modelo B elige X el 60% de las veces).

Bajo la medición de una sola extracción, un modelo que es altamente determinista pero comparte la misma inclinación de valor subyacente que un modelo menos determinista, aparece con una gran "distancia de valor" respecto a este. Además, las comparaciones entre modelos han pasado por alto un segundo confundido: el arnés de acceso (access harness) —el cliente de despliegue específico, el envoltorio de la API o el prompt de sistema— a través del cual se sirve el modelo, el cual puede desplazar los perfiles de valor independientemente de los pesos del modelo.

Metodología
Los autores introducen un protocolo de separación y un marco de descomposición aplicado a nueve modelos de cinco familias de proveedores (Anthropic, OpenAI, Google, DeepSeek, xAI).

Estímulo: El estudio utiliza 18 "dilemas de valor sin reglas" (elecciones binarias forzadas donde las reglas legales/de seguridad no dictan una respuesta, y las opciones son superficialmente simétricas).
Medición Contrapesada Repetida: En lugar de una sola extracción, cada modelo es consultado $N=40$ veces por ítem. Las etiquetas de las opciones se contrapesan (se intercambian A/B) para detectar sesgo de posición y falta de compromiso (non-engagement).
Índice de Determinismo: Se calcula explícitamente una extremidad (extremity), que es la media de $|P(v_1) - 0.5| \times 2$ a través de los ítems. Esto mide la nitidez del compromiso (0 = máximamente indeciso, 1 = totalmente determinista) de forma ortogonal a la dirección de la preferencia.
Descomposición: La aparente distancia entre modelos se divide en:
- Cambio de Dirección (Genuino): Los modelos eligen lados opuestos del umbral de 0.5.
- Misma Dirección, Más Extremo (Determinismo Etiquetado): Los modelos eligen el mismo lado pero con diferentes niveles de compromiso.
Control del Arnés de Acceso: El estudio vuelve a recolectar datos para los mismos modelos a través de sus APIs de proveedores originales, comparando estos resultados contra los datos del "benchmark congelado" recolectados mediante clientes de despliegue (por ejemplo, CLIs de suscripción).
Control de Caja Blanca: Una prueba causal añade un prompt de sistema de agente genérico a una llamada de API pura para aislar el efecto del prompt en el cumplimiento y el desplazamiento de valores.

Resultados Clave

Variabilidad del Determinismo: El determinismo de respuesta varía sustancialmente entre modelos y no puede asumirse a partir de los nombres de los modelos. Entre los modelos que muestran compromiso, la extremidad ajustada al cliente oscila aproximadamente entre 0.66 y 0.95. Notablemente, dentro de la familia Anthropic, un modelo más pequeño (Haiku) es más determinista que el principal (Opus), mientras que dentro de OpenAI, el modelo más grande (GPT-5.5) es más determinista que su predecesor. Esto sugiere que el determinismo no es una función simple del proveedor o la escala.
Descomposición de la Divergencia: Una vez separado el componente de determinismo, la aparente divergencia revela que no es uniformemente genuina ni uniformemente un artefacto.
- Falta de Compromiso (Non-Engagement): Se encontró que un modelo (DeepSeek-V4-Flash) estaba "bloqueado en posición", seleccionando una etiqueta fija independientemente del contenido. Su aparente distancia a otros modelos era un puro artefacto, no un desacuerdo de valores.
- Desacuerdo Genuino: Algunos pares entre familias (por ejemplo, Grok-3 frente a otros) muestran un alto desacuerdo genuino (73–88% de la distancia es cambio de dirección), el cual sobrevive a pruebas de robustez estrictas.
- Ruido Intra-Familia: La mayoría de las diferencias aparentes dentro de la misma familia de proveedores son impulsadas por artefactos de determinismo o ruido de frontera, más que por una genuina individuación de valores.
El Confundido del Arnés de Acceso: El cliente de despliegue altera significativamente los perfiles de valor.
- El CLI claude-p de Anthropic desplaza el perfil de valor del modelo insignia Opus en una media de 0.31 en la probabilidad de elección y cambia la dirección de 4/18 ítems en comparación con la API pura.
- Este cliente también distorsiona el índice de determinismo, haciendo que Opus parezca mucho más suave (0.34) de lo que es vía API pura (0.66).
- En contraste, el cliente codex de OpenAI es "limpio", mostrando desplazamientos insignificantes (0.008–0.05).
- Mecanismo Causal: Un control de caja blanca confirma que un prompt de sistema de agente elimina causalmente las negativas de elección forzada (que ocurren en ~10% de las llamadas de la API pura para Opus) y desplaza el perfil de valor. Sin embargo, la magnitud específica del desplazamiento en el CLI desplegado no es totalmente reproducible por un prompt genérico, lo que indica una capa de dirección compleja y propietaria.
Sensibilidad Lingüística: El lenguaje del prompt (coreano vs. inglés) actúa como un confundido similar, desplazando los perfiles absolutos en ~0.20 mientras preserva mayormente el orden relacional del determinismo.

Significado y Reivindicaciones
El artículo no pretende establecer definitivamente si los LLM poseen valores individualizados; más bien, proporciona el instrumento necesario para medir esa cuestión sin confundirla con artefactos.

Contribución Metodológica: El artículo introduce una descomposición que separa el desacuerdo genuino de valores del "determinismo etiquetado" (nitidez del compromiso). Esto permite a los investigadores distinguir entre modelos que genuinamente discrepan y modelos que simplemente difieren en qué tan firmemente se comprometen.
Identificación de un Nuevo Confundido: El estudio identifica el arnés de acceso como un confundido distinto y causalmente activo. Demuestra que el cliente de despliegue no es un conducto neutral, sino una capa que moldea el valor y puede inducir el cumplimiento (eliminando negativas) y desplazar los perfiles de valor sustancialmente.
Implicaciones para las Auditorías de Alineación: Las auditorías actuales que clasifican los modelos por distancia de valor de una sola extracción son defectuosas. Clasifican una cantidad "inflada por el determinismo" que está además confundida por el cliente utilizado. En consecuencia, los modelos que no se comprometen (que están cerca de todo pero comprometidos con nada) son sistemáticamente subestimados en su riesgo, mientras que las diferencias aparentes entre modelos pueden ser artefactos de la medición y no una verdadera divergencia de valores.
Reivindicaciones Estructurales Modestas: Los autores plantean la pregunta de si el determinismo rastrea al proveedor, la escala o la identidad del modelo como una cuestión abierta hecha medible por su método, en lugar de un hecho establecido. Su muestra de nueve modelos sugiere que el determinismo no es legible solo por el linaje, sino que se requiere un muestreo denso por proveedor para una respuesta definitiva.

En resumen, el artículo argumenta que la actual métrica de "distancia de valor" del campo es una confusión entre la dirección del valor, la nitidez del compromiso y los artefactos de despliegue. Corregir estos factores revela que, si bien existen algunos desacuerdos de valor genuinos entre familias, gran parte de la individuación reportada es un artefacto de la medición y la infraestructura de despliegue.

Los dos líos

Lo que esto significa para la "Personalidad" de la IA

La Conclusión

Más como este