Contextual Value Alignment via Multilayer Combinatorial Fusion

Resumo Técnico: Alinhamento de Valor Contextual via Fusão Combinatória Multicamadas (MCF-CVA)

Declaração do Problema
Alinhar Grandes Modelos de Linguagem (LLMs) com valores humanos continua sendo um desafio crítico para uma IA confiável. Abordagens existentes, como o Aprendizado por Reforço com Feedback Humano (RLHF) e a IA Constitucional (CAI), dependem tipicamente de frameworks de agente único e sistemas de recompensa unificados. Esses métodos têm dificuldade em capturar o pluralismo ético, adaptar-se a diversos contextos morais ou modelar a dinâmica do raciocínio moral multiagente. A moralidade humana é inerentemente pluralista, contextual e dinâmica; um único modelo normativo não pode representar adequadamente a diversidade do raciocínio moral entre indivíduos, culturas e situações. Trabalhos anteriores (por exemplo, VAS-CFA) introduziram o alinhamento multiagente de camada única, mas careciam de profundidade para refinar iterativamente essas perspectivas diversas.

Metodologia: Framework MCF-CVA
Os autores propõem o Alinhamento de Valor Contextual via Fusão Combinatória Multicamadas (MCF-CVA), um framework que aproveita a diversidade cognitiva entre múltiplos agentes morais através de fusão e refinamento iterativos. O fluxo de trabalho consiste em quatro etapas principais:

1. Instanciação de Agentes (Etapa a): Cinco agentes morais independentes são ajustados (fine-tuned) a partir de um modelo base (OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5) usando Direct Preference Optimization (DPO) com QLoRA. Cada agente é alinhado com um dos cinco pilares da Teoria das Fundações Morais (MFT): Cuidado, Justiça, Lealdade, Autoridade e Santidade. O treinamento utiliza o Moral Integrity Corpus (MIC).
2. Decomposição de Resposta e Pontuação (Etapa b): Em vez de agregar respostas completas, o framework decompõe a saída de cada agente em "unidades morais" (frases curtas ou sentenças que expressam uma única afirmação moral) usando GPT-4.1-nano. Essas unidades são emparelhadas, e um "classificador moral" (regressão logística sobre embeddings de SentenceTransformer) pontua cada par de unidades contra os cinco valores morais, gerando cinco sistemas de pontuação distintos (um por fundação moral).
3. Fusão Combinatória Multicamadas (Etapa c): O núcleo do framework aplica a Fusão Combinatória Multicamadas (MCF) utilizando o algoritmo Expansão-e-Redução (EAR).
   • Espaço Dual: O processo opera em uma arquitetura dual de espaço de pontuação Euclidiana e espaço de ranking Kemeny.
   • Expansão: Os cinco sistemas de pontuação são expandidos em 104 modelos combinados usando quatro esquemas de combinação: Combinação de Pontuação Média (ASC), Combinação de Pontuação Ponderada por Força de Diversidade (WSCDS), Combinação de Ranking Médio (ARC) e Combinação de Ranking Ponderada por Força de Diversidade (WRCDS).
   • Redução: Uma regra de deslizamento seleciona os cinco melhores modelos baseados na Diversidade Cognitiva (CD), uma métrica que quantifica a dissimilaridade entre funções de ranking-pontuação.
   • Iteração: Este ciclo de expansão-redução se repete através de múltiplas camadas até que um critério de parada seja atingido (força de diversidade máxima < 0,05 ou atingir a Camada 6).
4. Agregação de Unidades (Etapa d): O modelo fundido final seleciona os pares de unidades com melhor classificação, que são agregados pelo GPT-4.1-nano para formar a resposta final. O número de pares determina a extensão da resposta.

Principais Contribuições

1. Framework Inovador: Introdução do MCF-CVA, que funde múltiplos agentes morais através de camadas de raciocínio iterativas ao construir múltiplos sistemas de pontuação correspondentes a distintas fundações morais.
2. Métrica de Diversidade Cognitiva: A aplicação da diversidade cognitiva (medindo diferenças em funções de ranking-pontuação) para quantificar e aproveitar a diversidade entre agentes morais, em vez de tratá-los como um simples ensemble.
3. Integração de Espaço Dual: A integração da Análise de Fusão Combinatória (CFA) e do algoritmo EAR para facilitar a agregação adaptativa multicamadas tanto no espaço de pontuação Euclidiana quanto no espaço de ranking Kemeny.
4. Validação de Desempenho: Demonstração de que o MCF-CVA melhora a coerência moral e a robustez em relação a métodos de alinhamento contextual anteriores, incluindo baselines de agente único e abordagens de fusão de camada única.

Resultados Experimentais
O framework foi avaliado no conjunto de dados Moral Integrity Corpus (MIC) (11.375 perguntas) e no subconjunto de Moralidade de Senso Comum do benchmark ETHICS.

• Desempenho no Conjunto de Dados MIC:
  • Agentes Individuais: O melhor agente individual (Lealdade) alcançou um F1 BERTScore de 0,8663.
  • Modelos Multiagente Anteriores: Métodos existentes (CVA-GS, CVA-GS-DYN) pontuaram ~0,875, e um framework de debate multiagente alcançou 0,8698. O anterior VAS-CFA de camada única alcançou 0,8849.
  • MCF-CVA: A variante de camada única alcançou 0,9007, enquanto o MCF-CVA de múltiplas camadas completo alcançou 0,9098, representando um ganho de quase 1% sobre a versão de camada única e uma melhoria significativa sobre todos os baselines.
  • Estudos de Ablação: Remover o componente MCF (seleção aleatória de unidades) derrubou o desempenho para ~0,88, confirmando que o MCF é o principal motor de melhoria. Remover a decomposição também reduziu significamente o desempenho (para 0,8621), destacando a necessidade do processamento ao nível de unidade.
• Conjunto de Dados de Senso Comum:
  • Em uma tarefa de classificação binária, o melhor modelo base (DeBERTa-large) alcançou 0,8970 de acurácia.
  • O framework MCF-CVA alcançou uma acurácia final de 0,9220 na Camada 3, superando resultados anteriores (ex: RoBERTa-large em 0,9040).
• Dinâmica de Camadas: Os experimentos mostraram que as perguntas param em diferentes camadas (variando de 1 a 6), indicando que o framework se adapta à complexidade de cada prompt. Gráficos de função de ranking-pontuação demonstraram que a diversidade cognitiva diminui gradualmente através das camadas conforme o sistema converge.

Significância e Alegações
O artigo afirma que o MCF-CVA fornece um mecanismo robusto e eficaz para avançar o alinhamento de valor contextual em LLMs. Ao ir além dos paradigmas de objetivo único e agente único, o framework consegue reconciliar o raciocínio moral heterogêneo. Os autores argumentam que o processo de fusão multicamadas permite que o sistema evolua para decisões que são simultaneamente coerentes contextualmente e diversamente informadas.

Conceitualmente, o trabalho contribui para o estudo da diversidade moral computacional ao formalizar como agentes com diferentes perspectivas normativas podem ser combinados em um sistema de tomada de decisão coerente. Ele une o raciocínio moral e a otimização combinatória, oferecendo um caminho escalável para uma IA mais sensível ao contexto e confiável. Os autores observam que, embora os resultados sejam encorajadores, o algoritmo EAR é atualmente suportado principalmente por evidência empírica, e não por uma análise teórica completa, e que trabalhos futuros devem incluir uma avaliação humana mais ampla para aferir dimensões além de benchmarks estáticos.