Resumo Técnico: Neuroevolução Eficiente em Parâmetros para Geração Diversificada de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente exibem colapso de modo, produzindo saídas homogêneas que falham em explorar todo o espaço de soluções válidas. Em tarefas como geração de código ou escrita criativa, os modelos tendem a convergir para variantes sintaticamente similares ou padrões previsíveis. Essa limitação prejudica aplicações que exigem soluções diversas, como a descoberta de múltiplas abordagens algorítmicas, a geração de conjuntos de testes abrangentes ou a exploração de direções criativas. Embora algoritmos de Qualidade-Diversidade (QD) tenham abordado com sucesso esse problema em robótica e design de jogos, mantendo arquivos de soluções diversas e de alto desempenho, sua aplicação a LLMs tem sido limitada. Abordagens anteriores (por exemplo, QDAIF, LMX) tratam LLMs como geradores fixos de caixa preta, evoluindo apenas prompts discretos ou utilizando LLMs como avaliadores sem modificar quaisquer parâmetros neurais. Isso impede a integração com o paradigma mais amplo da neuroevolução, que historicamente evolui pesos ou arquiteturas de rede para descobrir soluções diversas e de alto desempenho.

Metodologia: O Framework QD-LLM

O artigo propõe o QD-LLM, um framework para neuroevolução eficiente em parâmetros que conecta a otimização QD à geração de LLMs, evoluindo embeddings de prompt.

1. Embeddings de Prompt Evoluídos

Em vez de ajustar finamente todo o modelo ou evoluir tokens discretos, o QD-LLM evolui embeddings de prompt suaves — vetores contínuos aprendíveis ($p \in \mathbb{R}^{n \times d}$) adicionados ao início da entrada.

• Eficiência em Parâmetros: O framework evolui uma interface neural compacta de aproximadamente 32.000 parâmetros (8 tokens virtuais × 4096 dimensões) para orientar um LLM congelado com 70B+ parâmetros.
• Mecanismo: Esses embeddings atuam como uma codificação indireta, criando pares chave-valor adicionais no mecanismo de atenção que modificam o fluxo de informações em toda a rede.
• Implementação:
  • Para modelos de código aberto (por exemplo, Llama-3-70B), os embeddings são injetados diretamente na camada de embeddings.
  • Para modelos via API (por exemplo, GPT-4), é utilizada uma aproximação discreta projetada, onde embeddings contínuos são mapeados para os tokens de vocabulário mais próximos, com erro de projeção limitado.
• Otimização: O sistema emprega otimização livre de gradiente (um princípio fundamental da neuroevolução). Utiliza força de mutação adaptativa (baseada nos princípios do CMA-ME) e estimativa de gradiente por diferenças finitas para mutações comportamentais direcionadas.

2. Caracterização Híbrida de Comportamento

Para organizar o arquivo QD, o framework define um descritor de comportamento $b(t)$ que combina dois componentes:

• Componente Semântico: Derivado de embeddings SBERT reduzidos via UMAP para capturar diversidade semântica de alto nível.
• Componente Explícito: Características específicas da tarefa (por exemplo, complexidade ciclomática, linhas de código e paradigma algorítmico para código; sentimento, formalidade e legibilidade para escrita).
• Fusão Híbrida: Estes são combinados via concatenação ponderada. O artigo fornece o Teorema 5, estabelecendo limites formais de cobertura para este descritor híbrido sob a suposição de quase independência entre os componentes. A validação empírica confirma baixa informação mútua (NMI $\approx$ 0,08–0,11), apoiando a garantia teórica de melhoria de cobertura quase multiplicativa.

3. Operadores de Variação Coevolutivos

O framework emprega operadores que mutam conjuntamente os embeddings de prompt e o texto resultante:

• Mutação Comportamental Direcionada: Utiliza estimativa de gradiente por diferenças finitas para orientar os embeddings em direção a regiões subexploradas do espaço de comportamento.
• Mutação Exploratória: Aplica perturbações Gaussianas para uma exploração mais ampla.
• Crossover: Interpola embeddings entre dois pais e solicita ao LLM que combine suas soluções textuais.

4. Gerenciamento de Arquivo

O sistema estende o CVT-MAP-Elites com tratamento de incerteza inspirado no Extract-QD. Mantém um buffer de avaliações por entrada do arquivo, utiliza a mediana da aptidão para comparações para lidar com a estocasticidade do LLM e reavalia periodicamente as elites.

Contribuições Principais

1. Embeddings de Prompt Evoluídos para QD: Um método de otimização livre de gradiente para vetores de prompt suaves que permite o direcionamento comportamental sem ajuste fino do modelo. Esta abordagem é aplicável tanto a LLMs de código aberto (acesso direto) quanto a modelos via API (aproximação projetada).
2. Caracterização Híbrida de Comportamento com Garantias Formais: Uma combinação principial de características semânticas e explícitas. O Teorema 5 fornece limites formais de cobertura sob quase independência, validados empiricamente com baixa informação mútua normalizada (NMI).
3. Operadores de Variação Coevolutivos: Operadores inovadores incluindo mutação comportamental direcionada via estimativa de gradiente por diferenças finitas e crossover no espaço de embeddings.
4. Validação Abrangente e Utilidade Descendente: Avaliação extensa em benchmarks de código e escrita criativa, demonstrando que arquivos diversos melhoram tarefas descendentes, como geração de testes e qualidade de dados para ajuste fino.

Resultados Experimentais

O framework foi avaliado em HumanEval (164 problemas), MBPP (974 problemas) e benchmarks de escrita criativa (ROCStories, WritingPrompts), utilizando Llama-3-70B, Mistral-Large e GPT-4-turbo.

• Desempenho: O QD-LLM alcançou uma pontuação QD 41,4% maior e uma cobertura 46,4% maior do que o estado da arte anterior (QDAIF) no HumanEval ($p < 0,001$, Vargha-Delaney $A = 0,94$).
• Estudos de Ablação: A remoção da caracterização híbrida de comportamento reduziu o desempenho em 18,6% (somente semântico) e 27,0% (somente explícito). A desativação da evolução de prompts reduziu a pontuação QD em 16,0%.
• Generalização entre Modelos: O método superou significativamente as linhas de base em Llama-3, Mistral-Large e GPT-4 (mesmo com aproximação projetada).
• Utilidade Descendente:
  • Geração de Testes: Arquivos diversos do QD-LLM descobriram 34% mais casos de borda em entradas de teste em comparação com o QDAIF.
  • Ajuste Fino: Modelos ajustados finamente em arquivos do QD-LLM alcançaram um ganho de precisão de 8,3% em problemas HumanEval retidos em comparação com aqueles treinados em soluções do QDAIF.

Significado e Alegações

O artigo afirma estabelecer a evolução de embeddings de prompt como um paradigma eficaz para conectar neuroevolução e LLMs modernos. Ao evoluir uma interface neural compacta (codificação indireta) em vez de toda a rede, o QD-LLM supera as proibições computacionais da evolução de modelos completos, mantendo os benefícios da diversidade neuroevolutiva.

Os autores enfatizam que este trabalho vai além de tratar LLMs como caixas pretas estáticas, evoluindo em vez disso os sinais de condicionamento que modificam diretamente os mecanismos de atenção. A utilidade descendente demonstrada — especificamente na geração de casos de teste diversos e na melhoria da qualidade dos dados para ajuste fino — sugere valor prático para engenharia de software e aumento de dados. O trabalho valida que a neuroevolução eficiente em parâmetros pode explorar efetivamente os espaços de solução de modelos fundacionais massivos e congelados.