Adam's Law: Textual Frequency Law on Large Language Models

Título: Lei de Adam: Lei de Frequência Textual em Modelos de Linguagem Grandes (LLMs)

1. Problema e Motivação

Embora a frequência textual seja bem estabelecida como relevante para a cognição humana (influenciando a velocidade de leitura e ativação neural), sua relação com o desempenho de Modelos de Linguagem Grandes (LLMs) é pouco estudada.

• O Desafio: LLMs frequentemente exibem desempenho variável quando submetidos a prompts ou dados de treinamento que possuem o mesmo significado semântico, mas diferentes expressões linguísticas (paráfrases).
• A Lacuna: Não há consenso sobre quais paráfrases são mais eficazes para prompting (inferência) ou fine-tuning (ajuste fino), especialmente quando os recursos computacionais são limitados e não se pode utilizar todas as variações possíveis.
• Hipótese Central: O artigo postula que dados textuais com maior frequência de ocorrência (baseada em corpora de treinamento ou estimativas) são mais fáceis de processar e entender pelos LLMs do que dados de baixa frequência, mesmo mantendo o mesmo significado.

2. Metodologia Proposta

Os autores propõem um framework composto por três unidades principais para explorar e validar a Lei de Frequência Textual (TFL):

• A. Lei de Frequência Textual (TFL):

  • Conceito: Quando o significado é mantido, paráfrases com maior frequência de nível de sentença devem ser preferidas tanto para prompting quanto para fine-tuning.
  • Estimativa de Frequência: Como os dados de treinamento da maioria dos LLMs são fechados, a frequência é estimada usando corpora de código aberto online. A frequência da sentença é calculada como a média geométrica das frequências de nível de palavra (baseada na Lei de Zipf).

• B. Destilação Textual de Frequência (TFD - Textual Frequency Distillation):

  • Objetivo: Refinar a estimativa de frequência inicial (obtida de fontes online) para capturar a distribuição real do modelo alvo, mesmo sem acesso aos seus dados de treinamento.
  • Mecanismo: O método solicita ao LLM alvo que realize "completamento de histórias" (story completion) com os dados do conjunto de treinamento. As gerações resultantes são usadas para criar um novo corpus ($D'$), permitindo uma segunda estimativa de frequência ($F_2$) que reflete melhor a "percepção" do modelo.
  • Fusão: A frequência final é uma combinação ponderada da estimativa online ($F_1$) e da estimativa destilada ($F_2$).

• C. Treinamento Curricular de Frequência Textual (CTFT - Curriculum Textual Frequency Training):

  • Estratégia: Um método de fine-tuning que organiza os dados de treinamento em uma ordem crescente de frequência de sentença (do menos frequente ao mais frequente).
  • Motivação: Baseia-se na ideia de que expressões de baixa frequência podem ser mais diversas e complexas, e que treinar primeiro com dados mais comuns (ou seguir uma ordem específica baseada na frequência) pode melhorar a convergência e o desempenho final.

3. Contribuições Principais

1. Proposição da Lei de Frequência Textual (TFL): Estabelece que, para paráfrases semanticamente equivalentes, a versão de maior frequência deve ser preferida para maximizar a performance do LLM.
2. Método de Destilação (TFD): Introduz uma técnica inovadora para estimar a frequência textual interna de modelos fechados através da geração de dados, contornando a falta de acesso aos dados de treinamento originais.
3. Método de Treinamento (CTFT): Propõe uma nova estratégia de curriculum learning baseada na frequência textual, demonstrando superioridade sobre abordagens tradicionais de "fácil para difícil" ou ordenação aleatória.
4. Dataset TFPD: Criaram o Textual Frequency Paired Dataset, um conjunto de dados curado contendo pares de sentenças (alta e baixa frequência) com o mesmo significado, cobrindo raciocínio matemático, tradução, raciocínio de senso comum e chamada de ferramentas.

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos modelos (GPT-4o-mini, DeepSeek-V3, Llama-3.3-70B, Qwen2.5) e tarefas:

• Raciocínio Matemático (MR): O uso de prompts de alta frequência aumentou significativamente a taxa de acerto. Por exemplo, no DeepSeek-V3, a precisão subiu de 63,55% para 71,54%. A análise mostrou que o framework corrigiu principalmente as amostras que falhavam com prompts de baixa frequência.
• Tradução Automática Neural (NMT): Em 100 pares de idiomas, a partição de alta frequência superou consistentemente a de baixa frequência em métricas BLEU, chrF e COMET.
  • No DeepSeek-V3, 99 de 100 pares de idiomas melhoraram em BLEU.
  • A degradação de desempenho foi mínima (menos de 1 ponto) quando ocorreu.
• Raciocínio de Senso Comum e Chamada de Ferramentas: Resultados consistentes mostraram que a partição de alta frequência superou a de baixa frequência em todos os modelos base.
• Fine-tuning (CTFT):
  • O fine-tuning apenas com dados de alta frequência superou o treinamento com dados originais (ground-truth) e dados de baixa frequência.
  • A aplicação do CTFT (ordenando do baixo para o alto em frequência) produziu os melhores resultados em todas as métricas, superando até mesmo o baseline de "fácil para difícil" (baseado na profundidade da árvore de dependência).
• Análise de Correlação: Foi encontrada uma forte correlação positiva entre a frequência textual e a qualidade da tradução (BLEU), mesmo para sentenças que não eram paráfrases diretas, sugerindo que a frequência é um indicador robusto de "naturalidade" para o modelo.

5. Significado e Conclusão

• Validação Teórica: O artigo inclui uma prova formal (no Apêndice) que conecta a Lei de Zipf e a minimização da perda de entropia cruzada à Lei de Frequência Textual, demonstrando que paráfrases de alta frequência tendem a ter menor perda de Negative Log-Likelihood (NLL).
• Implicações Práticas:
  • Otimização de Recursos: Permite selecionar os dados mais eficientes para fine-tuning e prompting sem necessidade de gerar ou armazenar todas as variações possíveis.
  • Melhoria de Desempenho: Oferece uma estratégia simples (reformulação para maior frequência) para melhorar a precisão de LLMs em tarefas complexas.
  • Novo Paradigma: Desafia a noção de que apenas a "qualidade" ou "quantidade" de dados importam, introduzindo a "frequência textual" como um fator crítico e subestimado na engenharia de dados para LLMs.

Em resumo, o trabalho demonstra que a "frequência" não é apenas uma estatística linguística, mas uma métrica fundamental para a eficiência e eficácia dos Modelos de Linguagem Grandes, propondo métodos práticos para explorar essa lei em cenários de treinamento e inferência.