VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

Resumo Técnico: VALUEFLOW

Problema

Alinhar Grandes Modelos de Linguagem (LLMs) com o diverso espectro de valores humanos continua sendo um desafio central. Os métodos atuais baseados em preferências frequentemente falham em capturar princípios motivacionais mais profundos, tendendo a capturar escolhas superficiais ou dependentes de contexto, em vez das prioridades duradouras que sustentam o comportamento humano consistente. Além disso, as abordagens existentes baseadas em valores sofrem de três lacunas críticas:

1. Extração: Os métodos frequentemente ignoram a estrutura hierárquica dos valores, baseando-se em questionários estáticos ou julgamentos simples que carecem de nuance através de diferentes níveis de abstração.
2. Avaliação: As métricas existentes tipicamente medem a presença de um valor, em vez de sua intensidade calibrada, utilizando dicionários ou classificações grosseiras que produam comparações instáveis entre modelos.
3. Direcionabilidade (Steerability): A extensão à qual os LLMs podem ser confiavelmente direcionados para expressar valores específicos em intensidades especificadas não é bem caracterizada, particularmente no que diz respeito ao controle de múltiplos valores e comportamentos de dose-resposta.

Metodologia: O Framework VALUEFLOW

Para abordar essas limitações, os autores introduzem o VALUEFLOW, um framework unificado que abrange extração, avaliação e direcionamento com controle de intensidade calibrada. O framework consiste em três componentes principais:

1. HIVES (Hierarchical Value Embedding Space)

O HIVES é um mapeador de representação unificada projetado para capturar a estrutura intra e interteórica dos valores.

• Estrutura: Ele integra teorias de valores heterogêneas — especificamente a Teoria dos Valores Básicos de Schwartz (SVT), a Teoria das Fundações Morais (MFT), os Deveres de Ross e os Direitos Humanos — em um único espaço de alta dimensão.
• Treinamento: O modelo passa por um processo de treinamento de dois estágios:
  • Estágio 1 (Intra-Teoria): Utiliza aprendizado contrastivo hierárquico para alinhar representações dentro de uma teoria específica, aproximando valores semanticamente relacionados com base em sua posição compartilhada na hierarquia.
  • Estágio 2 (Inter-Teoria): Alinha diferentes teorias usando âncoras interteóricas derivadas de agrupamento de conceitos (concept pooling) e instâncias curadas amigáveis ao usuário, criando coordenadas semânticas compartilhadas.
• Saída: Um espaço de incorporação (embedding) consciente da hierarquia que desvincula vetores de valores enquanto preserva afinidades locais.

2. VIDB (Value Intensity DataBase)

O VIDB é um recurso de larga escala de textos rotulados com valores e estimativas de intensidade, construído para servir como referência para avaliação e direcionamento.

• Construção: O banco de dados agrega rankings de múltiplos LLMs usando um modelo Plackett–Luce (PL). Em vez de pedir aos modelos classificações escalares absolutas (que são instáveis), o sistema apresenta janelas de textos e pede que eles os classifiquem em relação a uma definição de valor.
• Calibração: Pontuações de intensidade latente são estimadas a partir desses rankings e normalizadas para uma escala consistente de $[-10, 10]$. Um loop de verificação humano-LLM identifica e corrige potenciais outliers.
• Escala: Abrange 32 valores através de quatro estruturas teóricas, derivados de 10 mil textos únicos por valor.

3. Avaliador Baseado em Ranking e Protocolo de Direcionamento

O framework introduz um protocolo de avaliação inovador e um mecanismo de direcionamento:

• Avaliação: Para pontuar a saída de um modelo, o sistema constrói uma janela de ranking contendo a saída e $k-1$ textos âncora do VIDB. Um LLM juiz classifica esses textos, e a intensidade da saída é estimada otimizando a verossimilhança PL contra as utilidades fixas dos âncoras. Esta abordagem produz pontuações de intensidade estáveis e calibradas.
• Direcionamento (Steering): Os autores propõem um protocolo de direcionamento de ponta a ponta que condiciona a geração em pares $(valor, intensidade)$. Isso é alcançado via:
  • Prompts de Âncora de Intensidade: Pistas de linguagem natural explícitas (ex: "valoriza fortemente", "rejeita levemente").
  • Prompts de Usuário-Texto: Fornecer textos representativos do VIDB que correspondam a bins de intensidade específicos.

Principais Contribuições

1. Incorporação Hierárquica Unificada (HIVES): A construção de um espaço de incorporação de valores hierárquico que unifica teorias heterogêneas, permitindo o estudo sistemático da representação e desvinculação de valores.
2. Avaliação Baseada em Ranking & VIDB: A proposta de um método de avaliação baseado em ranking para intensidade de valor, acompanhado pelo lançamento do banco de dados de intensidade de valor em larga escala (VIDB). Este framework fornece uma alternativa estável e interpretável às linhas de base baseadas em classificação, demonstrando menor desvio em relação às classificações humanas (1.4 vs. 2.1–4.2) e maiores taxas de vitória (até 79%).
3. Pluralismo Direcionável: A extensão do direcionamento para abranger tanto o alinhamento direcional quanto a intensidade graduada de valores. Isso permite a análise de "pluralismo de valores direcionável", permitindo que os modelos sejam condicionados a múltiplos valores com intensidades específicas simultaneamente.

Resultados Experimentais

Os autores conduziram estudos abrangentes de larga escala em dez modelos (incluindo Qwen3, Mistral, Phi-4, GLM-4, GPT-4.1, Claude-4, Grok-4, etc.) e quatro teorias de valores.

• Regimes de Direcionabilidade: Os modelos exibem três regimes qualitativos:
  • Fracamente Direcionáveis: Modelos como Phi-4 e Claude-4 mostram limitada controlabilidade, especialmente para direcionamento negativo.
  • Moderadamente Direcionáveis: Modelos como Qwen3 e GPT-4.1 respondem consistentemente, mas com magnitudes dependentes do valor.
  • Fortemente Direcionáveis: Modelos como Grok-4, Gemma-3 e GLM-4 exibem grandes mudanças tanto em direções positivas quanto negativas.
• Assimetria e Composição:
  • Assimetria de Dose-Resposta: Muitos valores exibem comportamento de polaridade assimétrica (ex: respondem bem a alvos positivos, mas resistem a negativos).
  • Leis de Composição: No direcionamento de múltiplos valores, valores similares compõem-se de forma aproximadamente aditiva, enquanto valores opostos exibem compensações (trade-offs). Âncoras positivas fortes frequentemente dominam, atenuando alvos negativos em vez de revertê-los.
• Alinhamento Demográfico: Usando perfis de valores construídos a partir de dados demográficos, o framework melhora a precisão da previsão de comportamento no OpinionQA em mais de 10% para certos atributos (ex: a precisão de Religião do Phi-4 aumentou de 44.5% para 57.4%) em comparação com baselines de apenas atributos.
• Estabilidade: O avaliador baseado em ranking reduz significativamente a instabilidade do modelo (variância, taxas de inversão de sinal) e a sensibilidade ao prompt em comparação com a classificação escalar direta.

Significância e Alegações

O artigo posiciona o VALUEFLOW como o primeiro stack de pesquisa de ponta a ponta para alinhamento consciente de valores. Sua significância reside em:

• Infraestrutura: Estabelecer uma infraestrutura escalável para avaliar e controlar a intensidade do valor, indo além do simples alinhamento binário para o controle graduado e pluralista.
• Rigor Metodológico: Fornecer um caminho principiado para o alinhamento pluralista, fundamentando o comportamento em princípios motivacionais duradouros em vez de preferências transitórias.
• Utilidade Prática: Oferecer ferramentas para alinhamento personalizado (via perfis de valores) e implantação transcultural (via âncoras compartilhadas).
• Insights de Segurança: Vincular a direcionabilidade à segurança ao perfilar comportamentos de recusa, revelando que os modelos variam significamente em sua capacidade de serem direcionados para longe de valores prejudiciais sem disparar recusas.

Os autores concluem que, embora o framework faça concessões para interpretabilidade e estabilidade (ex: modelar intensidade como um escalar 1D), ele fornece uma infraestrutura comum para auditorias pluralistas e alinhamento baseado em valores reprodutível. Eles explicitamente observam que o framework não foi projetado para impor um único sistema de valores, mas para analisar e comparar expressões pluralistas.