Resumo Técnico: Diversidade, não Brevidade (Diverse-NS)

Definição do Problema

Embora as técnicas de alinhamento (ajuste de instrução e otimização de preferência) tenham tornado os Grandes Modelos de Linguagem (LLMs) mais seguros e úteis, elas frequentemente reduzem inadvertidamente a diversidade das saídas do modelo. Essa redução na diversidade prejudica a ideação criativa, aumenta a homogeneidade das respostas e pode levar ao "colapso do modelo" quando os modelos são repetidamente treinados em suas próprias saídas alinhadas.

Um fator de confusão crítico e frequentemente negligenciado neste problema é o comprimento do texto. O artigo argumenta que as métricas de diversidade padrão (ex: entropia, Razão Tipo-Token) e até mesmo os modelos de recompensa usados para otimização de preferência (como o ArmoRM) exibem um viés sistemático em favor de saídas mais curtas. Como essas métricas frequentemente atribuem pontuações mais altas a passagens curtas, a otimização para elas incentiva os modelos a serem concisos em vez de expressivos. Esse "viés de brevidade" mina a própria criatividade que esses modelos deveriam cultivar, particularmente em tarefas de escrita aberta onde profundidade e nuance são necessárias.

Metodologia: Diversidade, não Brevidade (Diverse-NS)

Os autores propõam o Diverse, not Short (Diverse-NS), uma estratégia de seleção de dados controlada por comprimento projetada para melhorar a diversidade de resposta mantendo a paridade de comprimento entre as respostas preferidas e rejeitadas. O framework opera dentro de um ciclo de autoaprendizado envolvendo três etapas principais:

1. Geração de Dados

Os autores utilizam uma tarefa de escrita criativa (gerar histórias de 5 frases contendo três palavras específicas) para elicitar respostas diversas.

• Prompting Sequencial: Em vez de uma única inferência, o processo utiliza duas etapas. Primeiro, o modelo gera uma resposta natural ($r_1$). Segundo, o modelo é instruído a redigir novamente a história com restrições adicionais visando reduzir a repetição e aumentar a diversidade, gerando uma segunda resposta ($r_2$).
• Escala: Este processo gera 200.000 tuplas de (prompt, $r_1$, $r_2$) tanto para o LLaMA-3.1-8B quanto para o Olmo-2-7B.

2. Filtragem de Dados (A Inovação Central)

Para criar pares de preferência de alta qualidade para a Otimização de Preferência Direta (DPO), os autores filtram os dados gerados com base em quatro critérios rigorosos aplicados em ordem:

1. Limiar de Qualidade: A qualidade de $r_2$ deve ser maior ou igual ao percentil 50 de todas as pontuações de qualidade de $r_1$.
2. Melhoria de Qualidade: A qualidade de $r_2$ deve ser estritamente maior que a de $r_1$.
3. Melhoria de Diversidade: A diversidade de $r_2$ deve ser estritamente maior que a de $r_1$.
4. Paridade de Comprimento: A diferença absoluta na contagem de palavras entre $r_1$ e $r_2$ deve ser de no máximo cinco palavras.

Esta restrição de comprimento é crucial para evitar a seleção de respostas diversas mais curtas e "mais fáceis".

• Métricas: O método principal utiliza Entropia para diversidade e pontuações ArmoRM para qualidade.
• Diverse-NS-Lite: Para reduzir o custo computacional (já que calcular a entropia e o ArmoRM requer múltiplas passagens de inferência), os autores introduzem uma variante leve. Esta substitui a Entropia pela Razão Tipo-Token (TTR) e o ArmoRM pelo índice MAAS, que apresentou a maior correlação com as métricas originais em sua análise.

3. Ajuste de Preferência

O conjunto de dados filtrado é limitado a 3.000 pares de preferência (selecionados por ordenação de ganho de entropia) para realizar o ajuste fino do modelo base usando a Otimização de Preferência Direta (DPO). Os autores também exploram a transferência "pequeno-para-grande", usando dados gerados por um modelo menor (Olmo-7B) para treinar um modelo maior (Olmo-13B).

4. Avaliação Ajustada pelo Comprimento

Para abordar o viés de avaliação, os autores introduzem o Decil de $\Delta$Diversidade ($\Delta$DD).

• Eles constroem um mapa de decis baseado em 800.000 histórias, agrupando as respostas por contagem de palavras e calculando limiares de diversidade para cada comprimento.
• Durante a avaliação, uma nova resposta recebe um ranking de decil baseado em seu comprimento e pontuação de diversidade em relação ao mapa.
• O $\Delta$DD é calculado como a diferença entre a pontuação de decil do modelo ajustado e a do modelo base, garantindo que os ganhos de diversidade não sejam meros artefatos do aumento de comprimento.

Principais Contribuições

1. Estratégia Diverse-NS: Um método de seleção de dados que melhora significativamente a diversidade de resposta para LLaMA-3.1-8B e Olmo-2-7B usando apenas 3.000 pares de preferência, controlando explicitamente o viés de comprimento.
2. Diverse-NS-Lite: Uma variante computacionalmente eficiente usando métricas de aproximação (TTR e MAAS) que alcança desempenho comparável ao método completo, reduzindo drasticamente os custos de filtragem.
3. Transferência Pequeno-para-Grande: Evidência de que modelos menores (ex: Olmo-2-7B) podem servir como "professores de diversidade" eficazes para modelos maiores (ex: Olmo-2-13B), permitindo o alinhamento de diversidade de baixo custo.
4. Métrica Controlada por Comprimento: A introdução do Decil de Diversidade, uma métrica que ajusta as pontuações de diversidade de acordo com o comprimento do texto para evitar o viés de brevidade na avaliação.
5. Lançamento de Dataset: Um conjunto de dados de alta qualidade com 6.000 pares de preferência gerados a partir de LLaMA-3.1-8B e Olmo-2-7B.

Resultados

Os autores avaliaram o método em quatro tarefas de geração criativa: Associações Divergentes (DAT), Geração de Persona (PGT), Usos Alternativos (AUT) e Escrita Criativa (CWT).

• Ganhos de Diversidade: Tanto o Diverse-NS quanto o Diverse-NS-Lite superaram consistentemente os modelos base e o baseline DivPO (um método recente que não controla o comprimento) em todas as tarefas e tamanhos de modelo.
  • Nas tarefas DAT e PGT, os métodos produziram significativamente mais palavras únicas, nomes, cidades e ocupações.
  • Na CWT, o Diverse-NS alcançou as maiores pontuações de Integração Semântica Divergente (DSI) e diversidade de 4-gramas.
• Significância Estatística: Testes t independentes confirmaram que o D-NS e o D-NS-Lite produzem respostas significativamente mais diversas do que o modelo base e o DivPO (p < 0.001 para D-NS vs. Base). A diferença entre D-NS e D-NS-Lite não foi estatisticamente significativa, validando a eficiência da versão Lite.
• Preservação de Qualidade: Embora a diversidade e a qualidade muitas vezes apresentem um trade-off, o Diverse-NS manteve ou melhorou ligeiramente a qualidade (medida por ArmoRM) em vários casos (ex: Olmo-7B e Olmo-13B). Nos casos em que a qualidade caiu ligeiramente, os valores absolutos de diversidade ainda excederam o modelo base, e a avaliação humana confirmou que os ganhos de diversidade eram perceptíveis e preferidos.
• Avaliação Humana: Em comparações pareadas na CWT, anotadores humanos preferiram o D-NS sobre o modelo base e o DivPO na maioria dos casos (taxas de vitória de até 72,73% contra o DivPO).

Significância e Alegações

O artigo afirma que, ao abordar explicitamente o viés de comprimento inerente tanto à seleção de dados de treinamento quanto às métricas de diversidade, o Diverse-NS oferece uma solução prática e escalável para impulsionar a diversidade em LLMs alinhados sem sacrificar a qualidade.

• Eficiência: O método alcança melhorias substanciais com um conjunto de dados muito pequeno (3k pares) e tempo de treinamento mínimo (menos de duas horas em uma única GPU).
• Acessibilidade: Ao demonstrar que modelos menores podem atuar como professores de diversidade e ao oferecer uma variante de filtragem leve, o trabalho reduz a barreira de recursos para o alinhamento consciente da diversidade.
• Mudança Fundamental: Os autores argumentam que as falhas anteriores em melhorar a diversidade podem advir do viés de brevidade não tratado nas métricas. Seu trabalho estabelece uma base para uma geração de linguagem mais expressiva, ao desacoplar a diversidade da brevidade.

Os autores observam modestamente as limitações, incluindo a dependência de uma única métrica de diversidade para filtragem, o foco em uma única tarefa (escrita de histórias) e a investigação de apenas uma rodada de autoaprendizado. Eles sugerem que trabalhos futuros devem explorar a otimização de múltiplas métricas e o autoaprendizado de múltiplas rodadas.