Contextual Value Alignment via Multilayer Combinatorial Fusion

Resumen Técnico: Alineación de Valores Contextuales mediante Fusión Combinatoria Multicapa (MCF-CVA)

Planteamiento del Problema
Alinear los Modelos de Lenguaje Extensos (LLMs) con los valores humanos sigue siendo un desafío crítico para una IA confiable. Los enfoques existentes, como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la IA Constitucional (CAI), dependen típicamente de marcos de agente único y sistemas de recompensa unificados. Estos métodos tienen dificultades para capturar el pluralismo ético, adaptarse a diversos contextos morales o modelar la dinámica del razonamiento moral multiagente. La moralidad humana es inherentemente pluralista, contextual y dinámica; un único modelo normativo no puede representar adecuadamente la diversidad del razonamiento moral entre individuos, culturas y situaciones. Aunque trabajos previos (por ejemplo, VAS-CFA) introdujeron la alineación multiagente de una sola capa, carecían de la profundidad para refinar iterativamente estas perspectivas diversas.

Metodología: Marco de Trabajo MCF-CVA
Los autores proponen la Fusión Combinatoria Multicapa para la Alineación de Valores Contextuales (MCF-CVA), un marco que aprovecha la diversidad cognitiva entre múltiples agentes morales a través de la fusión y el refinamiento iterativo. El flujo de trabajo consta de cuatro pasos principales:

1. Instanciación de Agentes (Paso a): Se ajustan cinco agentes morales independientes a partir de un modelo base (OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5) utilizando Optimización de Preferencia Directa (DPO) con QLoRA. Cada agente se alinea con uno de los cinco pilares canónicos de la Teoría de las Fundaciones Morales (MFT): Cuidado, Equidad, Lealtad, Autoridad y Santidad. El entrenamiento utiliza el Corpus de Integridad Moral (MIC).
2. Descomposición de Respuestas y Calificación (Paso b): En lugar de agregar respuestas completas, el marco descompone la salida de cada agente en "unidades morales" (frases cortas o sentencias que expresan una única afirmación moral) utilizando GPT-4.1-nano. Estas unidades se emparejan, y un "clasificador moral" (regresión logística sobre embeddings de SentenceTransformer) califica cada par de unidades frente a los cinco valores morales, generando cinco sistemas de calificación distintos (uno por cada fundación moral).
3. Fusión Combinatoria Multicapa (Paso c): El núcleo del marco aplica la Fusión Combinatoria Multicapa (MCF) utilizando el algoritmo de Expansión-y-Reducción (EAR).
   • Espacio Dual: El proceso opera en una arquitectura dual de espacio de puntuación Euclídeo y espacio de clasificación Kemeny.
   • Expansión: Los cinco sistemas de calificación se expanden en 104 modelos combinados utilizando cuatro esquemas de combinación: Combinación de Puntuación Promedio (ASC), Combinación de Puntuación Ponderada por Fuerza de Diversidad (WSCDS), Combinación de Clasificación Promedio (ARC) y Combinación de Clasificación Ponderada por Fuerza de Diversidad (WRCDS).
   • Reducción: Una regla de deslizamiento selecciona los cinco mejores modelos basados en la Diversidad Cognitiva (CD), una métrica que cuantifica la disparidad entre las funciones de clasificación-puntuación.
   • Iteración: Este ciclo de expansión-reducción se repite a través de múltiples capas hasta que se cumple un criterio de parada (fuerza de diversidad máxima < 0.05 o alcanzar la Capa 6).
4. Agregación de Unidades (Paso d): El modelo fusionado final selecciona los pares de unidades mejor clasificados, los cuales son agregados por GPT-4.1-nano para formar la respuesta final. El número de pares determina la longitud de la respuesta.

Contribuciones Clave

1. Marco Novedoso: Introducción de MCF-CVA, que fusiona múltiples agentes morales a través de capas de razonamiento iterativo mediante la construcción de múltiples sistemas de calificación correspondientes a distintas fundaciones morales.
2. Métrica de Diversidad Cognitiva: La aplicación de la diversidad cognitiva (que mide las diferencias entre funciones de clasificación-puntuación) para cuantificar y aprovechar la diversidad entre agentes morales, en lugar de tratarlos como un simple ensamble.
3. Integración de Espacio Dual: La integración del Análisis de Fusión Combinatoria (CFA) y el algoritmo EAR para facilitar la agregación adaptativa multicapa tanto en el espacio de puntuación Euclídeo como en el espacio de clasificación Kemeny.
4. Validación del Desempeño: Demostración de que MCF-CVA mejora la coherencia moral y la robustez sobre métodos previos de alineación contextual, incluyendo baselines de agente único y enfoques de fusión de una sola capa.

Resultados Experimentales
El marco fue evaluado en el conjunto de datos de la Corporación de Integridad Moral (MIC) (11,375 preguntas) y en el subconjunto de Moralidad de Sentido Común del benchmark ETHICS.

• Desempeño en el Conjunto de Datos MIC:
  • Agentes Individuales: El mejor agente individual (Lealtad) logró un F1 BERTScore de 0.8663.
  • Modelos Multiagente Previos: Métodos existentes (CVA-GS, CVA-GS-DYN) puntuaron ~0.875, y un marco de debate multiagente alcanzó 0.8698. El anterior VAS-CFA de una sola capa alcanzó 0.8849.
  • MCF-CVA: La variante de una sola capa alcanzó 0.9007, mientras que el MCF-CVA completo de múltiples capas alcanzó 0.9098, lo que representa una ganancia de casi un 1% sobre la versión de una sola capa y una mejora significativa sobre todos los baselines.
  • Estudios de Ablación: Eliminar el componente MCF (selección aleatoria de unidades) redujo el desempeño a ~0.88, confirmando que el MCF es el principal motor de mejora. Eliminar la descomposición también redujo significamente el desempeño (a 0.8621), resaltando la necesidad del procesamiento a nivel de unidad.
• Conjunto de Datos de Sentido Común:
  • En una tarea de clasificación binaria, el mejor modelo base (DeBERTa-large) logró una precisión de 0.8970.
  • El marco MCF-CVA alcanzó una precisión final de 0.9220 en la Capa 3, superando resultados previos (por ejemplo, RoBERTa-large en 0.9040).
• Dinámica de Capas: Los experimentos mostraron que las preguntas se detienen en diferentes capas (rango de 1 a 6), lo que indica que el marco se adapta a la complejidad de los prompts individuales. Las gráficas de la función de clasificación-puntuación demostraron que la diversidad cognitiva disminuye gradualmente a través de las capas a medida que el sistema converge.

Significancia y Reivindicaciones
El artículo afirma que MCF-CVA proporciona un mecanismo robusto y efectivo para avanzar en la alineación de valores contextuales en los LLMs. Al ir más allá de los paradigmas de objetivo único y agente único, el marco logra reconciliar razonamientos morales heterogéneos. Los autores argumentan que el proceso de fusión multicapa permite que el sistema evolucione hacia decisiones que son simultáneamente coherentes contextualmente e informadas por la diversidad.

Conceptualmente, el trabajo contribuye al estudio de la diversidad moral computacional al formalizar cómo agentes con diferentes perspectivas normativas pueden combinarse en un sistema de toma de decisiones coherente. Une el razonamiento moral y la optimización combinatoria, ofreciendo una vía escalable hacia una IA más sensible al contexto y confiable. Los autores señalan que, si bien los resultados son alentadores, el algoritmo EAR está apoyado principalmente por evidencia empírica en lugar de un análisis teórico completo, y el trabajo futuro debería incluir una evaluación humana más amplia para evaluar dimensiones más allá de los benchmarks estáticos.