VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

Resumen Técnico: VALUEFLOW

Declaración del Problema

Alinear los Modelos de Lenguaje de Gran Escala (LLMs) con el diverso espectro de los valores humanos sigue siendo un desafío central. Los métodos actuales basados en preferencias a menudo no logran capturar principios motivacionales profundos, tendiendo a capturar elecciones superficiales o dependientes del contexto en lugar de las prioridades perdurables que sustentan el comportamiento humano consistente. Además, los enfoques existentes basados en valores sufren tres brechas críticas:

1. Extracción: Los métodos suelen ignorar la estructura jerárquica de los valores, dependiendo de cuestionarios estáticos o juicios simples que carecen de matices a través de distintos niveles de abstracción.
2. Evaluación: Las métricas existentes suelen medir la presencia de un valor en lugar de su intensidad calibrada, utilizando diccionarios o calificaciones toscas que producen comparaciones inestables entre modelos.
3. Direccionalidad (Steerability): El grado en que los LLMs pueden ser dirigidos de manera confiable para expresar valores específicos en intensidades determinadas no está bien caracterizado, particularmente en lo que respecta al control de múltiples valores y los comportos de dosis-respuesta.

Metodología: El Marco de Trabajo VALUEFLOW

Para abordar estas limitaciones, los autores presentan VALUEFLOW, un marco unificado que abarca la extracción, la evaluación y la dirección con control de intensidad calibrada. El marco consta de tres componentes principales:

1. HIVS (Espacio de Incrustación de Valores Jerárquicos)

HIVES es un mapeador de representación unificada diseñado para capturar la estructura intra y trans-teórica de los valores.

• Estructura: Integra teorías de valores heterogéneas —específicamente la Teoría de los Valores Básicos de Schwartz (SVT), la Teoría de los Fundamentos Morales (MFT), los Deberes de Ross y los Derechos Humanos— en un único espacio de alta dimensión.
• Entrenamiento: El modelo se somete a un proceso de entrenamiento de dos etapas:
  • Etapa 1 (Intra-Teoría): Utiliza aprendizaje contrastivo jerárquico para alinear las representaciones dentro de una teoría específica, acercando las representaciones semánticamente relacionadas basándose en su posición compartida en la jerarquía.
  • Etapa 2 (Inter-Teoría): Alinea diferentes teorías utilizando anclas trans-teóricas derivadas de la agrupación de conceptos e instancias curadas de fácil uso para el usuario, creando coordenadas semánticas compartidas.
• Salida: Un espacio de incrustación consciente de la jerarquía que desentrelaza los vectores de valor mientras preserva las afinidades locales.

2. VIDB (Base de Datos de Intensidad de Valores)

VIDB es un recurso a gran escala de textos etiquetados con valores y estimaciones de intensidad, construido para servir como referencia para la evaluación y la dirección.

• Construcción: La base de datos agrega clasificaciones de múltiples LLMs utilizando un modelo de Plackett–Luce (PL). En lugar de pedir a los modelos calificaciones escalares absolutas (que son inestables), el sistema presenta ventanas de textos y les pide que los clasifiquen en relación con una definición de valor.
• Calibración: Las puntuaciones de intensidad latente se estiman a partir de estas clasificaciones y se normalizan a una escala consistente de $[-10, 10]$. Un bucle de verificación humano-LLM identifica y corrige posibles valores atípicos.
• Escala: Cubre 32 valores a través de cuatro marcos teóricos, derivados de 10,000 textos únicos por valor.

3. Evaluador Basado en Clasificación y Protocolo de Dirección

El marco introduce un protocolo de evaluación novedoso y un mecanismo de dirección:

• Evaluación: Para puntuar la salida de un modelo, el sistema construye una ventana de clasificación que contiene la salida y $k-1$ textos ancla de VIDB. Un LLM juez clasifica estos textos, y la intensidad de la salida se estima optimizando la verosimilitud PL contra las utilidades de los anclas fijas. Este enfoque produce puntuaciones de intensidad estables y calibradas.
• Dirección (Steering): Los autores proponen un protocolo de dirección de extremo a extremo que condiciona la generación en pares de $(valor, intensidad)$. Esto se logra mediante:
  • Prompts de Anclaje de Intensidad: Claves de lenguaje natural explícitas (por ejemplo, "valora fuertemente", "rechaza ligeramente").
  • Prompts de Usuario-Texto: Proporcionar textos representativos de VIDB que correspondan a cubetas de intensidad específicas.

Contribuciones Clave

1. Incrustación Jerárquica Unificada (HIVES): La construcción de un espacio de incrustación de valores jerárquico que unifica teorías heterogéneas, permitiendo el estudio sistemático de la representación y el desentrelazamiento de valores.
2. Evaluación Basada en Clasificación y VIDB: La propuesta de un método de evaluación basado en la clasificación para la intensidad de los valores, acompañado del lanzamiento de la Base de Datos de Intensidad de Valores (VIDB) a gran escala. Este marco proporciona una alternativa estable e interpretable a las líneas base basadas en calificaciones, demostrando una menor desviación de las calificaciones humanas (1.4 frente a 2.1–4.2) y una mayor tasa de victorias (hasta el 79%).
3. Pluralismo Direccionable: La extensión de la capacidad de dirección para abarcar tanto la alineación direccional como la intensidad de valor graduada. Esto permite el análisis del "pluralismo de valores direccionable", permitiendo que los modelos sean condicionados a múltiples valores con intensidades específicas simultáneamente.

Resultados Experimentales

Los autores realizaron estudios exhaustivos a gran escala en diez modelos (incluyendo Qwen3, Mistral, Phi-4, GLM-4, GPT-4.1, Claude-4, Grok-4, etc.) y cuatro teorías de valores.

• Regímenes de Direccionabilidad: Los modelos exhiben tres regímenes cualitativos:
  • Débilmente Direccionables: Modelos como Phi-4 y Claude-4 muestran una capacidad de control limitada, especialmente para la dirección negativa.
  • Moderadamente Direccionables: Modelos como Qwen3 y GPT-4.1 responden de manera consistente pero con magnitudes dependientes del valor.
  • Fuertemente Direccionables: Modelos como Grok-4, Gemma-3 y GLM-4 exhiben grandes cambios tanto en las direcciones positiva como negativa.
• Asimetría y Composición:
  • Asimetría de Dosis-Respuesta: Muchos valores exhiben un comportamiento de polaridad asimétrica (por ejemplo, responden bien a objetivos positivos pero resisten los negativos).
  • Leyes de Composición: En la dirección de múltiples valores, los valores similares se componen de forma aproximadamente aditiva, mientras que los valores opuestos exhiben compensaciones (trade-offs). Los anclajes positivos fuertes suelen dominar, atenuando los objetivos negativos en lugar de revertirlos.
• Alineación Demográfica: Utilizando perfiles de valores construidos a partir de datos demográficos, el marco mejora la precisión de la predicción de comportamiento en OpinionQA en más de un 10% para ciertos atributos (por ejemplo, la precisión de la religión en Phi-4 aumentó de 44.5% a 57.4%) en comparación con las líneas base de solo atributos.
• Estabilidad: El evaluador basado en clasificación reduce significamente la inestabilidad del modelo (varianza, tasas de cambio de signo) y la sensibilidad al prompt en comparación con la calificación escalar directa.

Significado y Reivindicaciones

El artículo posiciona a VALUEFLOW como el primer stack de investigación de extremo a extremo para la alineación consciente de los valores. Su importancia radica en:

• Infraestructura: Establecer una infraestructura escalable para evaluar y controlar la intensidad de los valores, yendo más allá de la simple alineación binaria hacia un control graduado y pluralista.
• Rigor Metodológico: Proporcionar un camino principista hacia la alineación pluralista al fundamentar el comportamiento en principios motivacionales perdurables en lugar de preferencias transitorias.
• Utilidad Práctica: Ofrecer herramientas para la alineación personalizada (vía perfiles de valores) y el despliegue transcultural (vía anclas compartidas).
• Perspectivas de Seguridad: Vincular la direccionabilidad con la seguridad mediante el perfilado de comportamientos de rechazo, revelando que los modelos varían significamente en su capacidad para ser dirigidos lejos de valores dañinos sin activar las negativas.

Los autores concluyen que, si bien el marco realiza concesiones en favor de la interpretabilidad y la estabilidad (por ejemplo, modelar la intensidad como un escalar unidimensional), proporciona una infraestructura común para auditorías pluralistas y una alineación basada en valores reproducible. Expresan explícitamente que el marco no está diseñado para imponer un único sistema de valores, sino para analizar y comparar expresiones pluralistas.