Coherence Maximization Improves Pluralistic Alignment

Resumo Técnico: A Maximização da Coerência Melhora o Alinhamento Pluralista

Definição do Problema
Alinhar sistemas de IA com diversos valores humanos (alinhamento pluralista) continua sendo um desafio central. Embora princípios de alto nível como "utilidade" forneçam uma direção, eles frequentemente falham em se traduzir na prática para populações específicas devido às tensões inevitáveis quando aplicados a casos concretos. As abordagens atuais enfrentam um "gap de especificação": princípios abstratos são insuficientes, mas gerar exemplos de valores concretos para diversas personas (por exemplo, nacionalidades, afiliações políticas ou estilos de interação específicos) normalmente requer supervisão humana extensiva. Além disso, os procedimentos padrão de alinhamento correm o risco de colapsar o pluralismo distributivo necessário para servir a populações diversas, muitas vezes ao selecionar uma única perspectiva ou ao depender de dados de pós-treinamento que podem ter apagado a diversidade de valores latente presente nos corpora de pré-treinamento.

Metodologia
Os autores propõem a Maximização da Coerência Interna (ICM - Internal Coherence Maximization) para gerar exemplos de valores específicos de uma persona sem supervisão humana. A metodologia opera na intuição de que sistemas de valores coerentes exibem regularidade estatística; se uma persona mantém uma posição sobre um tema, isso restringe suas prováveis posições em temas relacionados.

O pipeline consiste em três estáções:

1. Extração de Persona e Seleção de Itens: Características de persona de grão grosso (ex: nacionalidade, afiliação política) são extraídas da consulta alvo. Itens relevantes (perguntas de pesquisa, pares de respostas ou pares de pergunta-resposta) são identificados.
2. Inferência de Rótulo Baseada em ICM: Usando um modelo de linguagem base, o sistema infere rótulos para esses itens maximizando uma pontuação de coerência definida como a previsibilidade mútua dos rótulos sob o modelo. O algoritmo realiza uma busca (usando simulated annealing) sobre atribuições de rótulos para encontrar a configuração que maximiza a consistência interna. Este processo recupera estruturas de valores latentes dentro dos priors do modelo sem supervisão externa.
3. Condicionamento em Contexto: Os pares item-rótulo inferidos servem como exemplos de poucos disparos (few-shot) para direcionar o modelo durante a inferência subsequente. Isso é aplicado a três formatos de tarefa: previsão de rótulo discreto (classificação), seleção de preferência de pares e geração de texto aberto direcionada.

Para populações onde a inferência não supervisionada é pouco confiável (sub-representadas nos dados de pré-treinamento), os autores introduzem a Elicitação de Coerência Colaborativa. Este processo iterativo identifica perguntas onde os valores inferidos pelo modelo possuem baixa confiança (alta incerteza) e consulta anotadores humanos apenas para esses itens específicos. Esses rótulos humanos são então fixados como restrições rígidas, e a ICM é executada novamente para regenerar os demais rótos, garantindo coerência com as novas restrições.

Principais Contribuições

1. Coerência sobre Acurácia: O artigo demonstra que a coerência interna de um conjunto de exemplos em contexto prevê melhor a generalização subsequente do que a acurácia individual dos rótulos. Quando a acurácia dos rótulos é mantida constante, exemplos com maior previsibilidade mútua generalizam substancialmente melhor do que os incoerentes.
2. Paridade Não Supervisionada com Rótulos de Referência (Gold Labels): Exemplos inferidos por ICM, gerados sem qualquer supervisão humana, igualam o desempenho de exemplos supervisionados por humanos (gold-supervised) em quatro benchmarks (GlobalOpinionQA, OpinionQA, Persona-Tailoring e OvertonBench) e três formatos de tarefa. Isso se mantém em múltiplas famílias de modelos (Llama-3.1, Qwen-3, OLMo-3) e escalas.
3. Eficiência de Feedback Humano Direcionado: Para personas sub-representadas, a coleta de feedback humano em perguntas de alta incerteza produz uma generalização significativamente melhor do que o mesmo número de rótulos em perguntas arbitrárias. Esta abordagem minimiza o fardo da anotação enquanto corrige erros sistemáticos na estrutura de valores inferida pelo modelo.

Resultos

• Desempenho: Em todos os conjuntos de dados, os rótulos inferidos por ICM alcançaram um desempenho de alinhamento comparável aos rótulos supervisionados por humanos. Por exemplo, no GlobalOpinionQA, a ICM alcançou 71,7% de acurácia contra 71,2% da supervisão humana; no OpinionQA, 81,9% contra 81,0%. Ambos superaram significativamente as linhas de base zero-shot.
• O Papel da Coerência: Uma linha de base "Emparelhada por Acurácia" (Accuracy-Matched), onde os rótulos foram perturbados aleatoriamente para igualar a acurácia da ICM, mas com menor coerência, teve um desempenho significativamente inferior (frequentemente caindo para níveis zero-shot). Isso isola a coerência como o principal motor da generalização, não a acurácia bruta do rótulo.
• Robustez: O efeito da coerência foi observado em diferentes tamanhos de modelos (de 7B a 70B parâmetros) e famílias. Embora modelos maiores recuperem mais do ganho potencial da supervisão humana, mesmo modelos menores se beneficiaram da ICM, desde que possuíssem estrutura de valor latente suficiente.
• Elicitação Colaborativa: Em experimentos com personas sub-representadas (ex: Nigéria no GlobalOpinionQA), a adição de apenas quatro rótulos humanos direcionados às perguntas de menor confiança melhorou a acurácia de teste em mais de 30 pontos percentuais, enquanto as linhas de base de aprendizado ativo ou aleatório mostraram ganhos menores.

Significância e Alegações
O artigo argumenta que a coerência é um princípio de design fundamental para a especificação escalável de valores. Ao alavancar as diversas perspectivas humanas já codificadas nos modelos de linguagem pré-treinados, a ICM permite a construção de especificações de valores eficazes sem a necessidade de supervisão de preferências extensiva.

Os autores afirmam que esta abordagem oferece um caminho prático para o alinhamento pluralista:

• Permite a geração de exemplos específicos de persona que direcionam os modelos para os valores de um grupo alvo sem anotação humana para populações bem representadas.
• Integra-se naturalmente com o feedback humano para grupos sub-representados, exigindo apenas intervenção mínima e direcionada para corrigir vieses latentes.
• Desafia a suposição de que a acurácia individual do rótulo é a métrica primária para a especificação de valores, sugerindo, em vez disso, que a consistência mútua de um sistema de valores é mais crítica para a generalização.

O trabalho é modesto em seu escopo, reconhecendo que a abordagem depende de padrões estatísticos no texto de pré-treinamento em vez de acesso direto às intenções humanas, e que o ajuste de hiperparâmetros pode ser necessário para diferentes domínios. No entanto, postula que a maximização da coerência interna fornece uma alternativa viável e escalável ao tradicional alinhamento de valores supervisionado.