Resumo Técnico: TriAlign: Rumo à Consistência da Verdade Universal no Alinhamento de LLMs Personalizados

Declaração do Problema

Modelos de Linguagem Grandes Personalizados (PLLMs) adaptam as respostas às preferências do usuário e atributos sociais (ex: idade, gênero, ocupação). No entanto, essa personalização introduz uma falha crítica: a Inconsistência da Verdade Universal. Embora a apresentação de uma resposta possa variar, a verdade objetiva subjacente (ex: fatos matemáticos, princípios científicos) deve permanecer invariante entre grupos sociais. Evidências existentes sugerem que os PLLMs podem fornecer sistematicamente respostas menos precisas para grupos sociais específicos em comparação com outros, criando "lacunas de verdade".

Os métodos de alinhamento atuais falham em abordar isso adequadamente:

1. Modelos de "tamanho único" ignoram a personalização inteiramente.
2. O alinhamento de PLLM existente foca primariamente em preferências subjetivas, negligenciando a invariância da verdade.
3. A mitigação baseada em prompts (ex: instruir o modelo a ignorar demografias) apenas direciona a geração superficial sem modificar as correlações demográficas codificadas nos parâmetros do modelo, resultando frequentemente em melhorias marginais ou na degradação da qualidade da personalização.

Há uma necessidade de um método de alinhamento baseado em treinamento que otimize conjuntamente a precisão da verdade universal, a consistência da verdade entre grupos e a personalização.

Metodologia: TriAlign

Os autores propõem o TriAlign, o primeiro framework de Aprendizado por Reforço Multi-Agente (MARL) offline projetado para o Alinhamento de Invariância de Verdade (TIA).

1. Formulação como MARL

O TriAlign modela cada grupo social como um agente independente interagindo dentro de um ambiente compartilhado.

• Agentes: Cada agente $i$ corresponde a um grupo social $g_i$ (definido por atributos demográficos como gênero ou idade).
• Estado: $s_{i,t} = (x, g_i, \tau_{i,t})$, onde $x$ é a consulta, $g_i$ é o perfil do grupo e $\tau$ é o histórico da conversa.
• Ação: O agente gera uma resposta $a_{i,t}$.
• Ambiente: Coleta ações conjuntas de todos os $m$ agentes para a mesma consulta $x$, compara-as para identificar inconsistências de verdade e fornece feedback.
• Treinamento/Execução: O treinamento é centralizado (os agentes interagem para comparar respostas), enquanto a execução é descentralizada (cada agente gera uma resposta independentemente com base em seu perfil de grupo específico).

2. Objetivo e Design de Recompensa

O TriAlign otimiza um objetivo consciente de equidade inspirado no Bem-Estar Social de Nash (NSW) para evitar que o modelo favoreça grupos dominantes. A função objetivo $J(\theta)$ maximiza a soma dos retornos incorporando um termo logarítmico para os grupos com pior desempenho:
$$J(\theta) = \mathbb{E} \left[ \sum_{i=1}^m (R_i + \lambda_{NSW} \log(R_i + \epsilon)) \right]$$
onde $R_i$ é o retorno cumulativo para o agente $i$.

A Função de Recompensa $r_i$ para cada ação combina três componentes:

1. Precisão da Verdade ($r_{truth}$): Correção em relação à verdade universal $y^\star$.
2. Personalização ($r_{pref}$): Alinhamento com restrições específicas do grupo (estilo, tom).
3. Penalidade de Consistência ($r_{cons}$): Uma penalidade explícita baseada na diferença absoluta entre a precisão da verdade do agente e a precisão média da verdade entre todos os grupos sociais para a mesma consulta. Isso desencoraja diretamente desvios na verdade universal.

3. Implementação de RL Offline

Para evitar o alto custo do RL online (que requer anotações humanas para equidade e verdade), o TriAlign utiliza RL offline em trajetórias pré-coletadas:

• Construção de Dados: Uma simulação de interação de múltiplos turnos é executada onde $m$ agentes (representando diferentes grupos sociais) respondem às mesmas perguntas. O ambiente compara as respostas e atribui recompensas.
• Otimização: O framework utiliza um objetivo de Ajuste Fino Supervisionado (SFT) ponderado com restrições implícitas de KL. Os pesos são derivados da função de vantagem e do objetivo NSW, priorizando ações que melhoram o desempenho do "pior caso" do grupo enquanto mantêm alta precisão coletiva.

4. Aumentação de Persona

Para garantir dados de treinamento diversos, os autores construíram um espaço de grupos sociais $G$ com 75 pares categoria-valor demográficos. Eles utilizaram um pipeline de aumentação de persona-para-persona para gerar um pool equilibrado de 7.500 personas, garantindo que grupos sub-representados fossem adequadamente simulados.

Principais Contribuições

1. Formulação do Problema: Este trabalho é o primeiro a formular o Alinhamento de Invariância de Verdade (TIA) como um problema de MARL offline, abordando explicitamente o equilíbrio entre personalização e consistência da verdade universal entre grupos sociais.
2. Framework TriAlign: Propõe um novo framework de MARL onde os grupos sociais atuam como agentes. Introduz um objetivo consciente de equidade (inspirado em NSW) e uma penalidade de inconsistência entre grupos para otimizar conjuntamente verdade, consistência e personalização.
3. Simulação de Interação: Desenvolve um framework de interação de múltiplos turnos e múltiplos grupos sociais para construir trajetórias de RL offline, permitindo que os agentes refinem iterativamente as respostas através de feedback comparativo.
4. Validação Empírica: Demonstra, através de extensos experimentos, que o TriAlign supera fortes baselines (incluindo debiasing baseado em prompt e SFT padrão) na redução de disparidades de verdade enquanto mantém ou melhora a qualidade da personalização.

Resultados Experimentais

Experimentos foram conduzidos em diversos benchmarks, incluindo AIME25 (matemática), StereoSet (viés social), MMLU-PRO e TruthfulQA.

• Consistência da Verdade: O TriAlign reduziu significativamente o Desvio Padrão (Std), o Gap do Pior Grupo (Worst-Group Gap) e o Coeficiente de Variação (CV) da precisão da verdade entre os grupos sociais em comparação com os baselines. Por exemplo, no StereoSet, o TriAlign reduziu a lacuna entre o melhor e o pior grupo para 0,015, comparado a 0,100 para o modelo base.
• Precisão da Verdade: O método melhorou a Média da precisão da verdade universal (ex: 0,788 no StereoSet vs. 0,317 para o modelo base) e a precisão do Pior Grupo, indicando que grupos marginalizados receberam respostas significativamente mais precisas.
• Personalização: Ao contrário dos métodos baseados em prompt que frequentemente sacrificam a personalização em prol da equidade, o TriAlign manteve ou melhorou a Precisão de Alinhamento de Preferência (Pref) (ex: 0,791 no StereoSet).
• Estudos de Ablação: A remoção do objetivo NSW ou do componente de modelagem de consistência levou à degradação do desempenho tanto nas métricas de equidade quanto na personalização, confirmando a necessidade de ambos os componentes.

Significância e Alegações

O artigo afirma que o TriAlign representa um passo fundamental em direção a sistemas de IA personalizados mais justos e confiáveis. Sua significância reside em:

• Ir além do "debiasing de superfície" (prompting) para um alinhamento baseado em treinamento que modifica o comportamento interno do modelo em relação à verdade e equidade.
• Demonstrar que a consistência da verdade universal e a personalização não são mutuamente exclusivas; elas podem ser otimizadas conjuntamente usando uma perspectiva multi-agente.
• Fornecer uma solução de RL offline escalável que não depende de anotações humanas de alto custo para equidade, tornando-a aplicável ao implantação em larga escala.

Os autores reconhecem modestamente as limitações, observando que suas personas simuladas podem não capturar totalmente a complexidade das identidades interseccionais do mundo real e que equilibrar esses objetivos continua sendo um problema de pesquisa desafiador e contínuo. Eles enfatizam que o TriAlign é um passo em direção a, e não uma solução completa para, a consistência da verdade universal em PLLMs.