Resumo Técnico: PolyAlign – Alinhamento Condicional à Distribuição Humana

Declaração do Problema

Os métodos atuais de pós-treinamento para Grandes Modelos de Linguagem (LLMs), como o Ajuste Fino Supervisionado (SFT) e a otimização de preferência (ex: DPO), tipicamente alinham os modelos em direção a um comportamento de assistente global único. Embora eficaz para melhorar a utilidade média, essa abordagem frequentemente suprime a variação natural das respostas humanas através de diferentes idiomas, tarefas e contextos de diálogo. O alinhamento padrão tende a colapsar diversos contextos de interação em um estilo de assistente genérico, falhando em capturar como os humanos naturalmente variam seu estilo de resposta, comprimento, estrutura de discurso e uso de linguagem dependendo do regime de interação específico.

O artigo identifica a necessidade de um alinhamento condicional à distribuição humana: o objetivo é fazer com que os modelos correspondam à distribuição de resposta humana apropriada ao contexto de interação atual, em vez de otimizar para um estilo de resposta universal.

Metodologia: Estrutura PolyAlign

Os autores propõem o PolyAlign, uma estrutura de alinhamento consciente da distribuição que organiza dados de interação bilíngue em "baldes" (buckets) definidos por metadados (idioma, trilha de interação, família de resposta e comprimento). A estrutura consiste em dois componentes primários:

1. Ajuste Fino Supervisionado Consciente de Baldes (Bucket-SFT)

O SFT padrão frequentemente sofre de desequilíbrio de baldes, onde regimes de interação frequentes dominam a otimização, fazendo com que o modelo negligencie padrões de resposta humana distintos, porém menos frequentes.

• Mecanismo: O PolyAlign particiona os dados de treinamento em baldes $B$. Ele atribui um peso específico $e_{w_b}$ a cada instância $i$ no balde $b$ para garantir a minimização do risco macro de balde.
• Objetivo: O método atribui massa de otimização igual a cada balde, independentemente do número de amostras dentro dele. A função de perda é formulada como:
  $$L_{\text{Bucket-SFT}}(\theta) = \frac{1}{|B|} \sum_{b \in B} \frac{1}{n_b} \sum_{i: b_i=b} \ell_i(\theta)$$
• Garantia Teórica: O Teorema 1 prova que este esquema de ponderação converte exatamente o aprendizado supervisionado em minimização de risco macro de balde, garantindo que cada regime de interação receba massa de otimização igual.

2. Otimização de Preferência da Distribuição Humana (HDPO)

Para refinar ainda mais o alinhamento, o PolyAlign introduz um objetivo de otimização de preferência que incorpora informações de distribuição via um crítico.

• Distância de Suporte do Balde: Um crítico estima a distância do vetor de características de uma resposta candidata $z$ em relação à região de suporte empírica humana $\Lambda_b$ de seu balde específico. Esta distância, $D_b(z)$, é zero se a resposta estiver dentro da região de suporte humano e aumenta conforme ela se desvia.
• Regularização: O HDPO aumenta a perda sigmoid-DPO padrão com um regularizador baseado em crítico. O regularizador $R_{\text{HDPO}}$ favorece respostas que são tanto preferidas pelo rotulador humano quanto mais próximas do suporte da distribuição humana do balde alvo.
  $$L_{\text{HDPO}}(\theta) = \frac{1}{K} \sum_{i=1}^K w_i \left( L_{\text{DPO}}^{(i)}(\theta) + \lambda_{hd} R_{\text{HDPO}}^{(i)}(\theta) \right)$$
• Alinhamento: O Teorema 3 demonstra que, sob a variante sigmoid-DPO, o regularizador HDPO está localmente alinhado com o aprendizado de preferência: se a resposta escolhida estiver distribuicionalmente mais próxima do suporte humano do que a resposta rejeitada, ambos os objetivos impulsionam a política para aumentar a margem entre elas.

Principais Contribuições

1. Formulação: O artigo formula o alinhamento naturalístico como a correspondência à distribuição de resposta humana apropriada para cada contexto de interação, capturando variações em estilo, comprimento e estrutura através dos regimes.
2. Estrutura: Introdução do PolyAlign, que integra alvos distribuicionais condicionais no SFT (via Bucket-SFT) e na otimização de preferência (via HDPO).
3. Protocolo de Avaliação: Desenvolvimento de uma avaliação de dois eixos medindo a Utilidade da Tarefa (ex: QA-F1, ROUGE-L) e a Naturalidade Condicional (ex: Lacuna de Naturalidade por Balde, MAUVE Condicional, Fronteira de Naturalidade-Utilidade).

Resultados Experimentais

A estrutura foi avaliada em um corpus bilíngue (Inglês e Chinês) cobrindo cinco situações de interação (ex: assistente, QA de longo formato, chat aberto) usando modelos compactos abertos (Qwen2.5-1.5B/3B, Gemma2-2B, Llama-3.2-3B).

• Desempenho vs. Baselines: O PolyAlign superou consistentemente o BaseLM, Chain-of-Thought (CoT), Full-SFT e o DPO padrão.
  • Bucket-SFT: Provou ser o componente mais confiável, melhorando significativamente o alinhamento distribuicional (reduzindo a Lacuna de Naturalidade por Balde) enquanto preservava a utilidade da tarefa. Por exemplo, no Qwen2.5-1.5B (Inglês), o Bucket-SFT melhorou a pontuação agregada de 0.371 (Full-SFT) para 0.643 e reduziu o BNG-macro de 5.012 para 0.427.
  • HDPO: Forneceu refinamentos adicionais, particularmente na Fronteira de Naturalidade-Utilidade (NUF) e métricas de semelhança humana, quando o sinal do crítico era confiável.
• Semelhança Humana: Os modelos PolyAlign demonstraram taxas de detecção de IA significativamente menores (medidas por Binoculars, Fast-DetectGPT e RADAR) em comparação com os baselines, indicando maior semelhança humana.
• Estabilidade: O condicionamento explícito ao suporte humano (Bucket-SFT) mostrou-se mais estável do que a otimização de preferência global (DPO), que frequentemente se afastava dos suportes de resposta humana desejados, especialmente em conjuntos de dados em chinês.
• LLM-as-a-Judge: Avaliações de juiz confirmaram que o Bucket-SFT melhora a adequação condicional e a fidelidade à distribuição sem sacrificar a correção da tarefa.

Significância e Alegações

O artigo argumenta que o pós-treinamento deve evoluir de "otimizar como tornar um modelo melhor na média" para "como fazer um modelo produzir o tipo certo de resposta para o tipo certo de interação".

• Mudança de Paradigma: O trabalho sugere ir além do alinhamento genérico em direção a um alinhamento condicional, naturalístico e consciente da interação.
• Variação Natural: Ao modelar explicitamente os padrões de resposta humana específicos da interação, o PolyAlign gera respostas que são mais naturais e apropriadas à situação do que as produzidas pelo Full-SFT ou DPO padrão.
• Escopo Modesto: Os autores reconhecem que este é um estudo inicial focado em Inglês e Chinês com modelos compactos. Eles observam que trabalhos futuros são necessários para estender isso para configurações multilíngues mais amplas, representações de baldes mais ricas e modelos de maior escala. O artigo não afirma resolver todos os problemas de alinhamento, mas demonstra que modelar explicitamente as distribuições de resposta humana é um passo necessário para uma interação IA mais natural.