Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation

Resumo Técnico: Decodificação Top-H

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam um desafio fundamental na geração de texto aberto: equilibrar os objetivos concorrentes de fomentar diversidade e criatividade, ao mesmo tempo que preservam a coerência lógica. Técnicas de amostragem truncada existentes, como escalonamento de temperatura, top-k, top-p (núcleo) e amostragem min-p, tentam gerenciar essa compensação, mas exibem limitações significativas. Especificamente, métodos como min-p dependem de um único token superior como heurística para a confiança do modelo. Essa abordagem falha em levar em conta a forma geral da distribuição de probabilidade, levando a um truncamento excessivo em distribuições esparsas (baixa entropia) e a um truncamento insuficiente em distribuições densas (alta entropia). Consequentemente, esses métodos frequentemente lutam para manter a coerência em temperaturas mais altas, onde a criatividade é essencial.

Metodologia
O artigo introduz a decodificação top-H, uma estratégia de amostragem projetada para incorporar dinamicamente a confiança do modelo, considerando toda a distribuição de probabilidade em vez de apenas seu pico. A metodologia fundamenta-se em um arcabouço teórico que formaliza a compensação entre criatividade e coerência como um problema de otimização.

1. Fundamentação Teórica (ECMD & ECMM):
   Os autores formulam o problema como Divergência Mínima Constrained por Entropia (ECMD), que busca encontrar um subconjunto de tokens $S$ que minimize a Divergência de Jensen-Shannon (JSD) em relação à distribuição original $p$, enquanto satisfaz uma restrição de entropia $H(q) \leq \alpha H(p)$, onde $q$ é a distribuição sobre $S$ e $\alpha \in (0,1)$ é um hiperparâmetro ajustável.
   O artigo prova que minimizar a JSD sob esse limite de entropia é matematicamente equivalente à Maximização de Massa Constrained por Entropia (ECMM): maximizar a soma das probabilidades dos tokens selecionados ($\Gamma_S = \sum_{i \in S} p_i$) sujeito à mesma restrição de entropia.

2. Análise de Complexidade:
   Os autores provam que o problema ECMM é NP-difícil por meio de uma redução em tempo polinomial a partir do problema da Soma de Subconjuntos com Restrição de Cardinalidade (CCSS). Isso estabelece que encontrar o subconjunto ótimo exato é computacionalmente intratável no caso geral.

3. Algoritmo (Top-H):
   Para abordar a NP-dificuldade, o artigo propõe o top-H, um algoritmo guloso computacionalmente eficiente.

   • Procedimento: O algoritmo ordena os tokens por probabilidade decrescente e os adiciona iterativamente ao conjunto de seleção $S$. Após cada adição, calcula a entropia da distribuição renormalizada $q$ sobre $S$.
   • Terminação: O processo para quando a adição do próximo token faria com que a entropia $H(q)$ excedesse o limite dinâmico $\alpha H(p)$.
   • Adaptação Dinâmica: Diferentemente de métodos de limite estático, o top-H adapta-se à confiança variável do modelo em cada etapa de geração. À medida que a entropia da distribuição original $H(p)$ muda, o orçamento de entropia permitido para o subconjunto selecionado escala de acordo.

Principais Contribuições

• Formulação Teórica: O artigo estabelece uma base teórica para o truncamento baseado em entropia, definindo o problema ECMD e provando sua equivalência ao problema NP-difícil ECMM.
• Algoritmo Inovador: Apresenta o top-H, um algoritmo de aproximação gulosa que resolve o problema ECMM de forma eficiente (complexidade $O(n \log n)$, dominada pela ordenação), enquanto limita estritamente a entropia da distribuição selecionada.
• Consciência da Distribuição: Diferentemente do min-p, que depende exclusivamente da probabilidade do token top-1, o top-H utiliza a forma completa da distribuição para determinar o tamanho do pool de amostragem, abordando efetivamente as limitações do truncamento baseado em heurísticas tanto em distribuições esparsas quanto densas.

Resultados Experimentais
Avaliações empíricas extensas foram conduzidas em três modelos ajustados para instruções (LLaMA3.1-8B, Qwen2.5-3B, Phi-3-Mini) e múltiplos benchmarks:

• Escrita Criativa (Alpaca-Eval & MT-Bench): O top-H superou a amostragem min-p de última geração em até 25,63% em taxas de vitória e pontuações de juízes. Crucialmente, o top-H demonstrou robustez superior ao escalonamento de temperatura; enquanto top-p e min-p sofreram degradação significativa de coerência em temperaturas altas (por exemplo, $T=2$), o top-H manteve desempenho estável.
• Tarefas de Raciocínio (GSM8K & GPQA): O top-H alcançou consistentemente maior precisão que min-p e top-p em várias temperaturas. Em $T=2$, o top-p mostrou colapso quase total na precisão (por exemplo, uma queda de 73,62% para o Phi-3-Mini no GSM8K), enquanto o top-H manteve robustez, mostrando até 25,63% de melhoria sobre o min-p.
• LLM como Juiz: Avaliações usando GPT-4o confirmaram que o top-H produz saídas com maior criatividade, originalidade e coerência em comparação com as linhas de base, particularmente em temperaturas elevadas.
• Eficiência: A sobrecarga computacional do top-H é negligenciável (aumento aproximado de 0,8% na latência em comparação com min-p/top-p), pois a complexidade é dominada pela etapa de ordenação comum a todos os métodos de decodificação cumulativa.

Significado e Alegações
O artigo alega que o top-H avança o estado da arte na geração de texto aberto, fornecendo um método principiado e fundamentado teoricamente para equilibrar criatividade e coerência. Ao controlar explicitamente a entropia da distribuição de amostragem em relação à incerteza do modelo, o top-H permite que LLMs gerem conteúdo diverso e criativo sem sacrificar a consistência lógica, mesmo em regimes de alta temperatura onde métodos tradicionais falham. Os autores posicionam o top-H como uma substituição direta para estratégias de amostragem existentes, que pode ser facilmente integrada em aplicações de escrita criativa e outras tarefas generativas. O código é disponibilizado publicamente para facilitar a adoção.