Resumen Técnico: El Encuadre Importa: Abordando la Sensibilidad al Encuadre en la Toma de Decisiones mediante la Alineación de Valores Basada en el Comportamiento

1. Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en dominios de toma de decisiones de alto riesgo, como el razonamiento legal, la triaje médica y el juicio moral. Un requisito crítico para estos sistemas es la consistencia: el modelo debe tomar la misma decisión cuando se le presentan entradas factualmente equivalentes, independientemente de cómo se enmarquen lingüísticamente esas entradas.

Sin embargo, este artículo identifica una vulnerabilidad significativa: los LLM exhiben una alta susceptibilidad a los efectos de encuadre, donde entradas que preservan los hechos pero se reencuadran semánticamente provocan que el modelo revierta sus decisiones. A diferencia de los sesgos cognitivos humanos (por ejemplo, aversión a la pérdida, sesgo del presente), que están bien documentados, los mecanismos internos que impulsan la sensibilidad al encuadre en los LLM permanecen poco comprendidos. Las estrategias de mitigación existentes, como las instrucciones a nivel de prompt o la dirección basada en activaciones, a menudo fallan en suprimir esta sensibilidad y, en algunos casos, la amplifican activamente. El problema central es que las intervenciones actuales abordan síntomas superficiales en lugar de las vías representacionales subyacentes a través de las cuales opera el encuadre.

2. Metodología

2.1 El Benchmark FRAGILE

Para investigar sistemáticamente este problema, los autores introducen FRAGILE, un benchmark a gran escala diseñado para aislar el encuadre semántico que preserva los hechos en cuatro dominios de alto riesgo:

1. Dilema Moral (GGB, UNIBENCH)
2. Triaje Médico (TRIAGE, MEDICAL TRIAGE ALIGNMENT DATASET)
3. Juicio Legal (SUPER-SCOTUS)
4. Conflicto de Roles Interpersonal (ROLECONFLICTBENCH)

El benchmark transforma escenarios base a lo largo de tres dimensiones controladas y ortogonales derivadas de la teoría psicológica:

• Narración Tintada por Valores: Incrusta orientaciones de valor latentes (basadas en los valores humanos de Schwartz) en el escenario sin alterar los hechos (por ejemplo, enmarcar una acción como "proteger a otros" frente a "autonomía").
• Corte Temporal: Desplaza el horizonte temporal percibido de las consecuencias (corto plazo vs. largo plazo) a nivel de opción.
• Vividura Narrativa: Modula la concreción experiencial mediante frases orientadas a la acción (por ejemplo, "golpear censurar" frente a "censurar la publicación").

El benchmark incluye 48.140 instancias, incorporando variantes con etiquetas intercambiadas para controlar el sesgo posicional. La sensibilidad al encuadre se cuantifica mediante la Tasa de Reversión (inconsistencia conductual) y el Desplazamiento Distribucional (distancia L1 entre distribuciones de decisión).

2.2 Análisis Diagnóstico

Los autores emplean el análisis de Logit Lens para proyectar los estados ocultos en el token de decisión hacia el espacio del vocabulario. Esto les permite rastrear cómo el encuadre altera las representaciones internas capa por capa. El análisis revela que las inversiones de decisión inducidas por el encuadre no son fenómenos de capas tempranas, sino que surgen de desplazamientos de representación en capas tardías concentrados cerca del límite de decisión. Se identificaron señales distintivas a nivel de token para cada tipo de encuadre:

• Tintada por Valores: Reorganización distribuida del espacio de valores.
• Temporal: Activación de vías de urgencia (por ejemplo, tokens como "inmediato", "FUERA").
• Vividura: Amplificación de la ambivalencia o imágenes evocadoras de escenas.

2.3 El Marco VALIGN

Para mitigar estos efectos, el artículo propone VALIGN, un marco de intervención a nivel de representación que ancla las decisiones a un prior de valor estable. Opera en tres etapas:

1. Extracción del Vector de Autoinforme: Se solicita al modelo que articule sus valores centrales. El estado oculto en una capa específica (aproximadamente 65–70% de profundidad) se extrae para formar un Vector de Valor ($\hat{w}$), que representa la orientación de valor intrínseca del modelo.
2. Construcción del Subespacio de Sensibilidad: Utilizando PCA en los vectores de diferencia entre los estados ocultos enmarcados y los base, los autores identifican un Subespacio de Sensibilidad Temporal-Vividura de baja dimensión ($\{\hat{v}_1, \dots, \hat{v}_K\}$) donde las representaciones son más sensibles a las señales de encuadre.
3. Intervención en Tiempo de Inferencia: Durante el paso hacia adelante, el estado oculto ($h$) se modifica mediante:
   • Dirección de Valor: Sumar el vector de valor para dirigir el estado hacia direcciones consistentes con los valores: $h^* = h + \alpha \hat{w}$.
   • Proyección Ortogonal: Proyectar fuera los componentes del subespacio de sensibilidad del estado dirigido: $h' = h^* - \sum (h^* \cdot \hat{v}_i)\hat{v}_i$.

Este proceso se combina con un prompt de sistema de Ancla de Valor a nivel de texto que instruye al modelo a razonar desde valores centrales en lugar de señales superficiales.

3. Resultados Clave

3.1 Sensibilidad al Encuadre

Los experimentos en LLaMA-3.1-8B, Mistral-7B y Qwen2.5-7B revelan una inestabilidad severa ante el encuadre:

• Tasa Promedio de Reversión de Decisiones: 28,6% en todos los modelos y tipos de encuadre.
• La Narración Tintada por Valores induce la mayor inestabilidad (Reversión Promedio 36–47%), seguida por el Corte Temporal (21–38%), mientras que la Vividura Narrativa produce efectos más débiles pero aún significativos (~8–18%).
• Fallas de la Línea Base: Las estrategias de mitigación existentes (prompting de instrucciones, Cadena de Pensamiento, Vectores de Activación de Conceptos) consistentemente amplificaron la sensibilidad al encuadre, aumentando las tasas de reversión en 20–40 puntos porcentuales en muchos casos.

3.2 Rendimiento de VALIGN

VALIGN demuestra una mitigación consistente y significativa en todos los modelos y tipos de encuadre:

• Reducción de la Tasa de Reversión: Redujo la tasa de reversión promedio de 28,6% (Base) a 13,2% (VALIGN).
• Ganancias en Estabilidad: La proporción de respuestas estables y de baja perturbación (NL%) aumentó de 67,1% a 81,9%.
• Mejoras Específicas:
  • Bajo Narración Tintada por Valores, las tasas de reversión cayeron de ~40% a ~13%.
  • Bajo Corte Temporal, las tasas de reversión cayeron de ~30% a ~13%.
  • El método suprime efectivamente las inversiones de alta confianza (FH%), lo que indica que las distribuciones de creencias internas del modelo se están volviendo más robustas, no solo la salida final.
• Generalización: El método sigue siendo efectivo en modelos más grandes (LLaMA-3.1-70B) y en escenarios de múltiples encuadres donde se combinan varias señales de encuadre.

3.3 Estudios de Ablación

Los estudios de ablación confirman que los tres componentes de VALIGN son necesarios:

• Eliminar la Proyección Temporal-Vividura causa la mayor degradación, particularmente para el encuadre temporal y de vividura.
• Eliminar el Ancla de Valor de Texto aumenta las tasas de reversión, lo que muestra que se requiere una fundamentación explícita.
• Eliminar la Dirección de Valor reduce la estabilización de las distribuciones de creencias internas (la NL% disminuye).

4. Significado y Afirmaciones

El artículo afirma que lograr una toma de decisiones invariante al encuadre en los LLM requiere intervenciones profundas y representacionales en lugar de ingeniería de prompts a nivel superficial.

• Perspectiva Mecanística: El trabajo proporciona evidencia de que la sensibilidad al encuadre es impulsada por vías internas específicas (desplazamientos de representación en capas tardías) que pueden identificarse y neutralizarse.
• Limitaciones de los Métodos Actuales: Destaca que las técnicas de alineación estándar (prompts, Cadena de Pensamiento) son insuficientes y pueden ser contraproducentes para la estabilidad, ya que no abordan las causas representacionales raíz del sesgo de encuadre.
• Robustez mediante Alineación de Valores: Los hallazgos sugieren que anclar las decisiones del modelo a un perfil de valor intrínseco y estable puede desacoplar efectivamente la toma de decisiones de las señales de encuadre transitorias, ofreciendo una vía hacia una IA más confiable en dominios de alto riesgo.

Los autores mantienen una postura modesta, reconociendo que, aunque el benchmark se centra en decisiones binarias para una evaluación controlada, los mecanismos subyacentes probablemente se extienden a espacios de decisión más complejos y de múltiples opciones (lo cual validan brevemente en el apéndice). También señalan que, aunque VALIGN mejora la estabilidad, puede haber compensaciones con la precisión específica de la tarea en ciertos dominios (por ejemplo, conflicto de roles), lo que sugiere que el trabajo futuro debe equilibrar la consistencia con la corrección normativa.