Enhancing Value Alignment of LLMs with Multi-agent system and Combinatorial Fusion

Este artigo apresenta o VAS-CFA, um novo quadro que alinha modelos de linguagem com valores humanos ao fundir as perspetivas de múltiplos agentes morais distintos através da Análise de Fusão Combinatória, superando assim as limitações dos métodos tradicionais de feedback único.

O essencial

Imagine que você pediu a um robô superinteligente para escrever uma resposta sobre um tema difícil, como "o que é justo em uma sociedade?". O problema é que, se esse robô foi treinado apenas com um único "guru" ou uma única visão de mundo, ele pode acabar dando uma resposta que ignora outras perspectivas importantes, como a compaixão, a justiça ou a lealdade.

Este artigo apresenta uma solução inteligente chamada VAS-CFA. Vamos explicar como funciona usando uma analogia simples: o "Conselho de Sabedoria".

1. O Problema: Um Só Juiz Não Basta

Até hoje, muitos sistemas de Inteligência Artificial (como o ChatGPT) são ajustados para agradar os humanos usando um único "juiz" ou um conjunto de regras muito rígido. É como se você tivesse um único juiz de futebol decidindo todas as jogadas de uma partida. Ele pode ser justo, mas pode não entender a complexidade de todas as situações, ou pode ter um viés específico que deixa de lado outras formas de ver o mundo.

2. A Solução: O Conselho de 5 Especialistas

Os autores criaram um sistema que não confia em apenas um robô. Em vez disso, eles criaram 5 "agentes morais" diferentes, cada um treinado para representar um valor humano específico (baseado em uma teoria chamada "Fundamentos da Moralidade"):

• Agente A (Autoridade): Foca em respeito e hierarquia.
• Agente B (Cuidado): Foca em proteger e ajudar os vulneráveis.
• Agente C (Justiça): Foca em igualdade e direitos.
• Agente D (Lealdade): Foca em grupo, família e nação.
• Agente E (Santidade): Foca em pureza e valores sagrados.

Quando surge uma pergunta, todos os 5 robôs respondem ao mesmo tempo. Cada um dá a sua própria opinião baseada no seu "superpoder" moral.

3. O Grande Truque: A "Fusão Combinatória" (CFA)

Aqui está a parte mais genial. Se você apenas juntar as 5 respostas, elas podem entrar em conflito (um diz "faça X", o outro diz "não faça X"). O sistema não apenas mistura as respostas; ele as analisa e combina de uma forma matemática muito sofisticada chamada Análise de Fusão Combinatória.

Pense nisso como um chef de cozinha de elite:

1. Ele pega os ingredientes (as respostas) de cada um dos 5 chefs.
2. Ele não joga tudo na mesma panela sem pensar. Ele olha para cada ingrediente individualmente.
3. Ele usa uma "balança de diversidade" para decidir quais ingredientes combinam melhor. Se dois chefs pensam de forma muito parecida, o sistema dá menos peso a eles. Se um chef tem uma visão única e diferente (diversidade cognitiva), o sistema valoriza essa diferença.
4. O sistema cria várias combinações possíveis e escolhe a melhor peça (a frase ou ideia mais alinhada com os valores humanos) de todas essas misturas.

4. O Resultado: Uma Resposta Perfeita

Depois de escolher a melhor "peça" moral, o sistema passa por um "parafusador" (um robô que reescreve o texto) para garantir que a resposta final seja natural, completa e faça sentido para o usuário, mantendo a sabedoria do conselho.

Por que isso é melhor?

• Evita viés: Como usa 5 perspectivas, não fica preso a apenas uma visão de mundo.
• Resolve conflitos: Se a "Autoridade" diz uma coisa e o "Cuidado" diz outra, o sistema encontra o meio-termo inteligente, em vez de ignorar um dos lados.
• É mais humano: O resultado final parece mais com uma resposta que um grupo diverso de pessoas daria, em vez de um robô repetindo um único manual.

Resumo em uma frase

O VAS-CFA é como substituir um único juiz de tribunal por um júri diversificado de especialistas, onde uma "inteligência matemática" analisa todas as opiniões, escolhe as melhores partes de cada uma e as junta para criar uma decisão final que é mais justa, segura e alinhada com a complexidade dos valores humanos.

Os testes mostraram que esse método funciona muito melhor do que os sistemas atuais que usam apenas um "robô juiz", produzindo respostas mais seguras e éticas.

Resumo técnico

Resumo Técnico: VAS-CFA

1. O Problema

A alinhamento de Grandes Modelos de Linguagem (LLMs) com os valores humanos é um desafio central para garantir a segurança e a confiabilidade. Métodos existentes, como o Reinforcement Learning from Human Feedback (RLHF) e suas variantes (ex: DPO, RLAIF), frequentemente dependem de um único avaliador ou de sinais de recompensa estreitamente definidos. Essa abordagem limita a capacidade dos modelos de capturar o pluralismo ético (a coexistência de múltiplas perspectivas morais válidas), podendo resultar em objetivos estreitos, conflitos éticos não resolvidos e respostas que não refletem adequadamente a complexidade dos valores humanos.

2. Metodologia Proposta: VAS-CFA

Os autores propõem o Sistema de Alinhamento de Valores usando Análise de Fusão Combinatória (VAS-CFA). Este framework opera através de três etapas principais:

• Instanciação de Agentes Morais Diversos:

  • Em vez de um único modelo, o sistema utiliza cinco agentes distintos, cada um fine-tuned para representar uma perspectiva normativa específica baseada na teoria dos fundamentos morais: Autoridade, Cuidado, Justiça, Lealdade e Santidade.
  • Os agentes são treinados a partir do checkpoint OpenAssistant/oasst-sft-4-pythia-12b utilizando Otimização Direta de Preferência (DPO) com QLoRA, sobre o Moral Integrity Corpus (MIC).
  • Para cada prompt de teste, cada agente gera uma resposta.

• Decomposição e Classificação Moral:

  • Para evitar conflitos semânticos diretos ao agregar respostas completas, as saídas dos agentes são decompostas em unidades morais (afirmações éticas individuais) usando um modelo de linguagem (GPT-4.1 nano).
  • Um "classificador moral" (baseado em SentenceTransformer e regressão logística) avalia cada unidade gerada, atribuindo pontuações de alinhamento para cada uma das cinco dimensões morais. Isso cria cinco sistemas de pontuação distintos.

• Fusão Combinatória (CFA):

  • O núcleo da metodologia é a Análise de Fusão Combinatória (CFA). O sistema não apenas agrega pontuações, mas também ranqueamentos.
  • Utiliza-se o conceito de Diversidade Cognitiva (CD) para medir a diferença entre as funções de pontuação dos agentes.
  • São geradas 26 combinações possíveis (subconjuntos de 2 a 5 agentes) que são processadas através de quatro tipos de fusão:
    1. ASC: Combinação média de pontuações.
    2. WSCDS: Combinação de pontuações ponderada pela força da diversidade.
    3. ARC: Combinação média de ranqueamentos.
    4. WRCDS: Combinação de ranqueamentos ponderada pela força da diversidade.
  • A melhor unidade moral resultante é selecionada e passada para um parafraseador que a transforma em uma resposta completa ao usuário, preservando o conteúdo moral.

3. Contribuições Chave

• Operacionalização do Pluralismo Ético: O VAS-CFA é uma das primeiras abordagens a tratar o alinhamento de valores não como a busca por uma "verdade" única, mas como a fusão de múltiplas perspectivas normativas distintas.
• Uso de Diversidade Cognitiva: A metodologia demonstra que a diversidade entre os agentes (diferenças nas funções de pontuação e ranqueamento) não é um ruído a ser eliminado, mas um recurso valioso para mitigar redundâncias e conflitos.
• Superioridade da Fusão de Ranqueamento: O trabalho estabelece que a fusão baseada em ranqueamento (ARC/WRCDS) supera consistentemente a fusão baseada apenas em pontuação (ASC/WSCDS) neste contexto, devido à natureza não linear da diversidade cognitiva entre os agentes morais.
• Arquitetura Modular: A decomposição em unidades morais permite uma agregação mais precisa do que a simples fusão de respostas completas, evitando a diluição de valores.

4. Resultados Experimentais

Os resultados foram avaliados no conjunto de dados de teste do MIC (113.8k pares prompt-resposta) utilizando as métricas ROUGE-L e F1 BERTScore:

• Desempenho Superior: O VAS-CFA superou consistentemente tanto os agentes morais individuais quanto as abordagens de agregação anteriores (como CVA-GS e CVA-GS-DYN).
  • Exemplo (F1 ROUGE-L): O melhor agente individual (Justiça) atingiu 0.1249, enquanto a melhor configuração VAS-CFA (WRCDS) atingiu 0.1692.
  • Exemplo (F1 BERTScore): O melhor agente individual atingiu 0.8663, enquanto o VAS-CFA (WRCDS) atingiu 0.8849.
• Validação da Diversidade: Gráficos de função pontuação-ranqueamento mostraram que os cinco agentes exibem uma diversidade cognitiva notável. A fusão que leva em conta essa diversidade (especialmente via ranqueamento ponderado) produziu os melhores resultados.
• Robustez: O sistema demonstrou ser robusto em diferentes combinações de agentes, validando a eficácia da fusão combinatória para avançar o alinhamento de valores.

5. Significado e Impacto

Este trabalho oferece uma nova direção para o alinhamento de LLMs, movendo-se além da otimização baseada em um único sinal de recompensa. Ao integrar a Análise de Fusão Combinatória com sistemas multiagente, o VAS-CFA fornece um mecanismo robusto para:

1. Capturar a complexidade ética pluralista da sociedade.
2. Resolver conflitos entre diferentes valores morais de forma sistemática.
3. Gerar respostas que são não apenas seguras, mas eticamente matizadas e alinhadas com uma gama mais ampla de intenções humanas.

A pesquisa sugere que a "inteligência de grupo" ética, mediada por fusão combinatória, é um caminho promissor para a próxima geração de assistentes de IA confiáveis e alinhados.