🤖 AI

Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models

Este artículo demuestra que la brecha entre preferencias declaradas y reveladas en los modelos de lenguaje depende en gran medida de los protocolos de elicitación, mostrando que, si bien permitir la neutralidad en las preferencias declaradas mejora la correlación con las preferencias reveladas de opción forzada, introducir la abstención en las preferencias reveladas o utilizar la orientación de las instrucciones del sistema no logra resolver de manera fiable la discrepancia.

Autores originales: Pranav Mahajan, Ihor Kendiukhov, Syed Hussain, Lydia Nottingham

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pranav Mahajan, Ihor Kendiukhov, Syed Hussain, Lydia Nottingham

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando entender la personalidad de un nuevo amigo. Tienes dos formas de hacerlo:

Pregúntales directamente: «¿Valoras más la honestidad que la amabilidad?» (Esta es su Preferencia Declarada).
Observa cómo actúan: Ponlos en una situación difícil donde tengan que elegir entre ser honestos o ser amables, y observa lo que realmente hacen (Esta es su Preferencia Revelada).

En el mundo de la IA, los investigadores han notado un problema: a veces una IA dice que ama la «Honestidad», pero cuando se le presenta una historia complicada, elige la «Amabilidad» en su lugar. Esta discrepancia se denomina Brecha entre Preferencia Declarada y Revelada (SvR).

Este artículo, titulado "Mind the Gap", investiga por qué existe esta brecha y, lo que es más importante, cómo la forma en que formulamos las preguntas cambia la respuesta. Piensa en el «protocolo de elicitación» como las reglas del juego que jugamos con la IA.

Esto es lo que encontraron los investigadores, utilizando analogías sencillas:

1. La trampa de la «Elección Forzada» (La forma antigua)

Anteriormente, los investigadores jugaban un juego donde la IA se veía obligada a elegir un bando. Imagina a un árbitro gritando: «¡Debes elegir: A o B! ¡Sin hablar, sin dudar!».

El problema: Si la IA realmente no está segura, o piensa «Depende de la situación», aún tiene que elegir A o B. Es como obligar a una persona a elegir entre «Pizza» y «Ensalada» incluso si está llena y no quiere ninguna de las dos.
El resultado: La IA elige al azar o basándose en el orden de las palabras, creando preferencias «falsas». Cuando los investigadores compararon estas elecciones falsas con lo que la IA dijo que valoraba, la conexión era débil y desordenada.

2. El botón de «Omitir» (La nueva forma para las Preferencias Declaradas)

Los investigadores probaron una nueva regla para la parte de «preguntarles directamente». Dijeron: «Puedes elegir A, B, o puedes decir 'No me importa' o 'Depende'».

La analogía: Imagina preguntar a un amigo: «¿Prefieres café o té?», pero permitiéndoles decir: «No bebo» o «Depende de la hora del día».
El resultado: Esto actuó como un filtro. Eliminó las «señales débiles» (las suposiciones de la IA o las elecciones aleatorias). Cuando los investigadores solo observaron los momentos en que la IA decidía firmemente un bando, sus preferencias declaradas coincidían mucho mejor con su comportamiento real. La «brecha» se redujo significativamente.

3. El problema de «Demasiadas Opciones de Omitir» (La nueva forma para las Preferencias Reveladas)

Luego, probaron permitir que la IA dijera «Depende» durante los escenarios difíciles (las preferencias reveladas).

La analogía: Ahora, imagina poner a tu amigo en una crisis real y decirle: «Puedes elegir la Acción A, la Acción B, o simplemente decir 'No lo sé'».
El resultado: ¡La IA comenzó a decir «Depende» o «Igual» casi todo el tiempo! Era como un estudiante que, al recibir un examen difícil, simplemente escribe «No estoy seguro» en cada respuesta.
La consecuencia: Como la IA se negaba a tomar una decisión firme tan a menudo, los investigadores no pudieron construir una clasificación clara de lo que la IA realmente valoraba. La conexión entre lo que dijeron y lo que hicieron desapareció (cayó a casi cero o incluso a valores negativos).

4. El experimento del «Manual de Instrucciones» (Dirigir el Prompt)

Finalmente, los investigadores intentaron «arreglar» el comportamiento de la IA dándole una hoja de trucos. Antes de los escenarios difíciles, le dijeron a la IA: «Aquí tienes tu propia lista de valores que dijiste que te gustaban. Por favor, sigue esta lista estrictamente».

La analogía: Es como decirle a un conductor: «Recuerda, dijiste que amas la seguridad, ¡así que conduce con seguridad!» justo antes de una carrera.
El resultado: No funcionó de manera fiable. Para algunas IAs, ayudó un poco. Para otras (como la familia «Claude»), en realidad empeoró las cosas. La IA parecía ignorar la hoja de trucos o confundirse con ella. Los investigadores descubrieron que este truco del «manual de instrucciones» funciona para listas pequeñas de valores, pero falla miserablemente cuando la lista es larga (16 valores diferentes).

La gran conclusión

La lección principal de este artículo es que la forma en que haces la pregunta cambia la respuesta.

Si obligas a una IA a elegir cuando no está segura, obtienes datos ruidosos y falsos.
Si permites que una IA diga «No lo sé» demasiado, no obtienes datos en absoluto.
Simplemente decirle a una IA que «siga sus propias reglas» no arregla el problema de manera fiable.

Los autores concluyen que, para comprender verdaderamente los valores de la IA, necesitamos métodos que reconozcan que, a veces, la IA (al igual que un humano) genuinamente no tiene una preferencia clara, y que debemos diseñar nuestras pruebas para manejar esa incertidumbre en lugar de forzar una elección o ignorarla.

Resumen Técnico: Cuidado con la Brecha: Cómo los Protocolos de Elicitación Moldean la Brecha entre Preferencias Declaradas y Reveladas en Modelos de Lenguaje

1. Enunciado del Problema

La literatura reciente ha identificado una brecha de preferencias declaradas–reveladas (SvR) en los grandes modelos de lenguaje (LLM): una discrepancia entre los valores que los modelos endosan explícitamente en entornos abstractos y las elecciones que realizan en escenarios contextualizados (Gu et al., 2025; Liu et al., 2025; Chiu et al., 2025). Las evaluaciones existentes de esta brecha dependen en gran medida de la promoción forzada binaria. Esta metodología colapsa la fuerza de la preferencia, la indiferencia y la incertidumbre en un único resultado binario, potencialmente confundiendo preferencias genuinas con artefactos del protocolo de elicitación (Khan et al., 2025; Balepur et al., 2025). El problema central abordado es si la correlación SvR medida refleja una verdadera alineación del modelo o es meramente un subproducto de forzar a los modelos a tomar decisiones decisivas cuando podrían tener preferencias indeterminadas.

2. Metodología

Los autores evalúan sistemáticamente cómo los protocolos de elicitación afectan la correlación SvR a través de 24 modelos de lenguaje. El estudio se basa en el marco LitmusValues y el conjunto de datos AIRiskDilemmas (Chiu et al., 2025), extendiendo la metodología para permitir explícitamente la neutralidad y la abstención.

Protocolos de Elicitación:
- Elección Forzada: Los modelos deben seleccionar uno de dos valores o acciones.
- Elección Expandida: Los modelos pueden además responder con "Preferencia Igual" o "Depende", permitiendo expresar indiferencia o incertidumbre contextual.
Entornos de Elicitación:
- Preferencias Declaradas: Elicitadas mediante comparaciones abstractas de valores en pares (16 Valores Compartidos de IA).
- Preferencias Reveladas: Elicitadas utilizando 3.000 dilemas morales contextualizados de AIRiskDilemmas.
Construcción de Clasificaciones:
- Las clasificaciones declaradas se derivan de las tasas de victoria en comparaciones binarias decisivas.
- Las clasificaciones reveladas utilizan puntuaciones Elo (convertidas a una escala de 1–16) basadas en victorias/derrotas a través de los dilemas.
- Elección Metodológica Crucial: Las respuestas neutrales (Igual/Depende) se excluyen de la construcción de la clasificación para aislar prioridades direccionales estrictas. Esta exclusión es necesaria para crear clasificaciones densas requeridas para la correlación de rangos de Spearman, pero tiene implicaciones significativas para los resultados.
Intervención: El estudio prueba la dirección mediante prompt del sistema, donde la propia jerarquía de valores declarada del modelo (derivada de la elicitación de elección expandida) se antepone al prompt del sistema durante la elicitación de preferencias reveladas para ver si reduce la brecha SvR.
Métricas: La correlación SvR se mide utilizando la correlación de rangos de Spearman ( $\rho$ ) entre las clasificaciones declaradas y reveladas de 1–16.

3. Resultados Clave

A. Las Tasas de Neutralidad son Altas y Variables
Bajo la elicitación de elección expandida, las tasas de neutralidad (respuestas de "Preferencia Igual" o "Depende") varían significativamente según la familia de modelos y el modo de elicitación.

En la elicitación de preferencias declaradas, la neutralidad oscila entre el 48,2 % y el 100 % (por ejemplo, Qwen-3-8B selecciona predominantemente "Depende").
En la elicitación de preferencias reveladas, algunos modelos (por ejemplo, variantes de Mistral-3-8B) seleccionan respuestas neutrales en casi todos los escenarios, mientras que otros (por ejemplo, Gemma-3-4B) seleccionan "Preferencia Igual" en aproximadamente el 70 % de los casos.
Esto indica que las comparaciones binarias forzadas enmascaran frecuentemente la incertidumbre o la indiferencia subyacentes.

B. Impacto del Protocolo en la Correlación SvR
El estudio evalúa tres configuraciones:

Forzada–Forzada (Línea Base): Replicando a Chiu et al. (2025), esto muestra una varianza sustancial entre modelos en la correlación SvR, indicando sensibilidad a los patrones de decisión específicos del modelo.
Declarada Expandida / Revelada Forzada: Permitir la neutralidad solo en las preferencias declaradas (filtrando comparaciones débiles) produce un aumento marcado en la correlación SvR. Por ejemplo, LLaMA-3.1-405B-Instruct mejora de $\rho \approx 0,2$ a $\rho \approx 0,7$ . Bajo esta condición, la correlación SvR se asocia positivamente con la capacidad del modelo (Índice de Capacidades de Época).
Expandida–Expandida: Permitir la neutralidad en ambas preferencias declaradas y reveladas hace que la correlación SvR caiga a valores cercanos a cero o negativos para muchos modelos. Esto ocurre porque las altas tasas de neutralidad en las preferencias reveladas impiden la construcción de una clasificación densa y estable; las elecciones binarias residuales proporcionan una señal demasiado débil para la comparación basada en correlación.

C. La Dirección mediante Prompt del Sistema es Poco Confiable
Aplicar la dirección mediante prompt del sistema (inyectando la jerarquía declarada del modelo en la ventana de contexto) durante la elicitación de preferencias reveladas no mejora de manera fiable la correlación SvR en el dominio de 16 valores.

Los efectos son inconsistentes: mientras que un pequeño subconjunto de modelos muestra una mejora modesta, muchos (incluida la familia Claude) exhiben una correlación reducida después de la dirección.
Esto se alinea con hallazgos anteriores de que la dirección mediante prompt es más efectiva para conjuntos pequeños de valores (por ejemplo, 3 valores) que para conjuntos más grandes (Liu et al., 2025). Con 16 valores, la dirección a menudo introduce interferencia que degrada la consistencia en la toma de decisiones.

4. Contribuciones Clave

Sensibilidad al Protocolo: Demuestra que la correlación SvR es altamente dependiente del protocolo. La elección de permitir o no permitir la neutralidad altera fundamentalmente la alineación medida.
Filtrado de Señales Débiles: Muestra que permitir a los modelos expresar neutralidad en las preferencias declaradas filtra las comparaciones indeterminadas, produciendo clasificaciones que se correlacionan más fuertemente con el comportamiento revelado de elección forzada.
Limitaciones de la Dirección: Proporciona evidencia de que la dirección simple mediante prompt del sistema es insuficiente para cerrar la brecha SvR en dominios de valores grandes (16 valores) y puede ser perjudicial.
La Neutralidad como Característica: Destaca que las altas tasas de neutralidad en las preferencias reveladas no son meramente ruido, sino que indican que muchos modelos carecen de un orden total limpio sobre los valores en escenarios contextualizados.

5. Significado y Afirmaciones

El artículo concluye que la correlación SvR no es una propiedad intrínseca estable de un modelo, sino que está fuertemente moldeada por el protocolo de elicitación.

Implicación Metodológica: La evaluación de preferencias debe tener en cuenta explícitamente la neutralidad y la indeterminación en lugar de forzar elecciones binarias que pueden crear una decisividad artificial.
Implicación de Alineación: Cerrar la brecha SvR probablemente requiere intervenciones más fuertes que la simple dirección mediante prompt del sistema de valores declarados, especialmente cuando entran en juego muchos valores.
Interpretación de la Neutralidad: Las altas tasas de "Depende" y "Preferencia Igual" en escenarios revelados sugieren que muchos modelos no poseen una jerarquía de valores rígida e independiente del contexto, desafiando la suposición de un único "sistema de valores" estable que pueda ser dirigido fácilmente.

Los autores enfatizan que sus hallazgos sugieren la necesidad de métodos de evaluación que no descarten la neutralidad, sino que la modelen, ya que forzar un orden total sobre preferencias indeterminadas puede producir métricas engañosas de alineación.