Resumo Técnico: DiaLLM – Uma Investigação sobre o Hiato entre Robustez e Geração na Adaptação de Dialetos do Inglês

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) têm demonstrado uma capacidade crescente de compreender o inglês dialetal, mas predominantemente geram saídas em um inglês padrão, voltado para os EUA. Isso cria um "hiato de robustez-geração": os modelos conseguem tolerar entradas dialetais (robustez), mas falham em produzir saídas dialetalmente apropriadas (geração). As abordagens existentes, como adaptadores de dialeto (ex: TADA, HyperLoRA) ou adaptações de baixo rank (LoRDD), visam primordialmente a robustez de Compreensão de Linguagem Natural (NLU) sob entrada dialetal. Nenente delas investigou sistematicamente a adaptação de pipeline completo — abrangendo pré-treinamento contínuo, ajuste fino supervisionado (SFT) e alinhamento — nem determinou se os modelos podem genuinamente produzir texto com marcas dialetais. Além disso, os benchmarks atuais frequentemente falham em capturar as nuances da geração dialetal, focando na robustez da entrada.

2. Metodologia

2.1 Modelos Base e Corpus

O estudo utiliza três famílias de LLMs de pesos abertos que abrangem diferentes arquiteturas e faixas de parâmetros: Llama 3.1-8B, Qwen 3-8B e Gemma 3-4B-it.
Os modelos passam por um pré-treinamento contínuo (CPT) no International Corpus of English (ICE), uma coleção de 18 variedades de inglês (aprox. 20 milhões de tokens) cobrindo tanto variedades do "Círculo Interno" (ex: Reino Unido, EUA) quanto do "Círculo Externo" (ex: Índia, Nigéria). O CPT é realizado usando GaLore para otimização de parâmetros totais com eficiência de memória.

2.2 Paradigmas de Pós-Treinamento

A partir dos checkpoints de CPT, os autores seguem dois fios de adaptação distintos:

1. Adaptação Implícita: Aplica o ajuste fino de instrução padrão (SFT) em dados de preferência geral (UltraFeedback) seguido de um alinhamento amplo. Este fio não visa explicitamente dialetos específicos durante o SFT.
2. Adaptação Explícita: Aplica SFT dialetal específico (SFTd) usando um conjunto de dados onde as conclusões preferidas são transformadas nos dialetos alvo (Inglês Australiano, Indiano e do Norte da Grã-Bretanha) utilizando a biblioteca Multi-VALUE e recursos do eWAVE. Isso é seguido por um alinhamento direcionado à variedade.

2.3 Estratégias de Alinhamento

Três métodos de alinhamento são comparados em ambos os paradigmas:

• Otimização de Preferência Direta (DPO): Um método offline que otimiza diretamente a partir de pares contrastivos (dialetal vs. padrão).
• Otimização de Política Relativa de Grupo (GRPO): Um método online que gera múltiplos rollouts por prompt e estima uma linha de base a partir da recompensa média do grupo.
• Otimização de Política de Sequência de Grupo (GSPO): Semelhante ao GRPO, mas emprega reponderação ao nível de sequência em vez de amostragem de importância ao nível de token para evitar viés.

2.4 Formulação de Recompensa

Para o alinhamento online (GRPO/GSPO), uma função de recompensa composta é utilizada:
$$R = \lambda \cdot \phi_{dial}(y) + \frac{1-\lambda}{2} \cdot \phi_{comet}(y, \hat{y}) + \frac{1-\lambda}{2} \cdot \phi_{cos}(y, \hat{y})$$

• $\phi_{dial}(y)$: Uma recompensa log-sum derivada de um classificador multi-rótulo que detecta 135 características morfossintáticas e lexicais do banco de dados tipológico eWAVE.
• $\phi_{comet}$ e $\phi_{cos}$: Métricas que garantem a fidelidade semântica e a preservação do significado em relação à conclusão escolhida pelo SFT.
• $\lambda$ é fixado em 0,80 para priorizar as características dialetais.

2.5 Avaliação

A avaliação vai além dos benchmarks padrão (BBH, GPQA, GLUE, VALUE, BESSTIE) para incluir:

• Métricas Automáticas: Um classificador de variedades (DeBERTa-v3-base) para detectar os dialetos alvo.
• Preferência Humana: Falantes nativos realizam comparações pareadas ou de três vias das saídas.
• LLM-as-Judge (LLM como Juiz): Utilizando o Phi-4 para avaliar características dialetais, com e sem listas explícitas de características eWAVE no prompt do sistema.
• Análise Linguística: Uma análise independente baseada em regras de marcadores superficiais (lexicais, ortográficos, morfossintáticos) para verificar a riqueza dialetal sem depender do sinal de recompensa do treinamento.

3. Principais Contribuições

1. Framework DiaLLM: Um framework de adaptação dialetal de pipeline completo que fornece uma comparação controlada de CPT, SFT e três métodos de alinhamento (DPO, GRPO, GSPO) através de dois paradigmas e três famílias de modelos. Todo o código, checkpoints e conjuntos de dados de preferência são liberados.
2. Hiato de Robustez-Geração: O estudo estabelece que o desempenho em benchmarks (robustez) é impulsionado primariamente pelo CPT e SFT, enquanto os métodos de alinhamento têm efeitos marginais em benchmarks, mas remodelam visivelmente a geração de formas que os benchmarks não capturam.
3. Hiato de Recompensa-Qualidade: O artigo expõe um descompasso entre a otimização de sinais de recompensa dialetais e a produção de saída dialetal de alta qualidade. O método que otimiza mais agressivamente a recompensa dialetal (GRPO) não é o preferido pelos anotadores humanos ou juízes de LLM, e a análise linguística independente confirma que ele produz menos marcadores dialetais reconhecíveis do que outros métodos.

4. Principais Resultados

• Dissociação de Robustez e Geração: Os benchmarks são moldados pelo CPT e SFT. O alinhamento (DPO, GRPO, GSPO) produz mudanças inconsistentes nas pontuações de benchmark, mas altera significativamente o estilo de geração.
• O Direcionamento Explícito é Preferido: A adaptação de variedade explicitamente direcionada (SFTd + alinhamento direcionado à variedade) produz saída consistentemente reconhecida como dialetal e é preferida tanto por humanos quanto por juízes de LLM em relação ao alinhamento amplo.
• O Hiato de Recompensa-Qualidade:
  • O GRPO alcança a maior densidade de características eWAVE (o objetivo de treinamento) em todas as famílias de modelos.
  • No entanto, o GRPO é o método menos preferido pelos anotadores humanos e juízes de LLM.
  • A análise linguística independente revela que o GRPO produz os menores marcadores dialetais superficiais e a menor diversidade de características para Llama e Qwen, apesar de maximizar a recompensa. Isso sugere que o sinal de recompensa baseado em eWAVE incentiva uma densidade de características superficial em vez de uma qualidade dialetal autêntica e holística.
• Nuances Específicas de Variedade:
  • O Inglês Indiano (en-IN) e o Inglês do Norte da Grã-Bretanha (en-UK) mostram preferências claras pela adaptação explícita.
  • O Inglês Australiano (en-AU) é uma exceção; os anotadores não mostram uma preferência clara pelo SFTd sobre o baseline, provavelmente devido à sutileza das características australianas e sua flexibilidade de registro, que prompts casuais falham em elicitar de forma confiável.
• Desempenho do Método de Alinhamento: Nenhum método de alinhamento único domina em todas as condições. O DPO frequentemente apresenta melhor desempenho que o GRPO em termos de qualidade percebida, apesar de possuir pontuações de densidade de características menores.

5. Significância e Alegações

Os autores alegam que o DiaLLM fornece um relato empírico crítico da adaptação dialetal, desafiando a suposição de que maximizar um sinal de recompensa dialetal equivale a gerar texto dialetal autêntico.

• Limitações dos Benchmarks: O artigo argumenta que confiar apenas em benchmarks padrão oferece uma visão incompleta e potencialmente enganosa da adaptação dialetal, pois eles falham em capturar as mudanças qualitativas na geração causadas pelo alinhamento.
• Design de Recompensa: As descobertas destacam uma limitação específica no uso de inventários de características tipológicas (como o eWAVE) como sinais de recompensa para treinamento generativo. Esses inventários documentam características atestadas, mas não consideram o condicionamento pragmático, o registro ou a qualidade perceptiva do dialeto, levando a um "hiato de recompensa-qualidade".
• Direções Futuras: O trabalho sugere que fechar o hiato dialetal requer designs de recompensa mais ricos que vão além da simples densidade de características e investimento contínuo em recursos dialetais. Ele posiciona o DiaLLM não como uma solução final, mas como um passo fundamental para compreender os limites atuais da adaptação dialetal e os desafios específicos de gerar variedades autênticas de inglês não padrão.

Os autores enfatizam que seu objetivo não era estabelecer uma única "receita vencedora", mas sim demonstrar empiricamente como diferentes componentes de pipeline contribuem para a adaptação dialetal e onde os métodos de alinhamento atuais falham.