Resumo Técnico: TextReg

Problema: Overfitting Distribucional de Prompts

Modelos de Linguagem de Grande Escala (LLMs) são altamente sensíveis a prompts de entrada, que servem como a interface primária para especificar objetivos e restrições da tarefa. Embora métodos recentes de otimização de prompts reescrevam iterativamente os prompts usando feedback gerado por LLMs para melhorar o desempenho, eles frequentemente sofrem de overfitting distribucional de prompts. À medida que a otimização avança, os prompts tendem a tornar-se mais longos e a acumular regras estreitas e específicas de amostra (por exemplo, exceções para entidades específicas ou casos extremos), em vez de codificar princípios gerais e compactos.

Essa falha manifesta-se ao longo de duas dimensões acopladas:

1. Custo de Capacidade: Os prompts expandem-se em comprimento, consumindo mais orçamento de contexto e tornando mais difícil para os modelos localizar instruções relevantes dentro de janelas de contexto limitadas.
2. Estreitamento do Escopo: Os prompts acumulam regras que reduzem a perda de treinamento, mas aplicam-se apenas a um subconjunto estreito de entradas, funcionando como correções ad hoc em vez de princípios de tarefa reutilizáveis.

Os otimizadores existentes carecem de mecanismos para controlar qualquer uma das dimensões, levando a prompts que performam bem em dados de treinamento, mas generalizam mal para entradas fora da distribuição (OOD), variantes de tarefas mais difíceis ou arquiteturas de modelos diferentes.

Metodologia: TextReg

Os autores propõem o TextReg, um framework de regularização projetado para mitigar o overfitting distribucional de prompts controlando a ineficiência representacional. O framework formaliza a ineficiência como uma medida de dois fatores:
$$I(p) = C(p) \cdot W(p)$$
Onde $C(p)$ é o custo de capacidade (comprimento em tokens) e $W(p)$ é o estreitamento do escopo (a fração de regras com escopo de generalização limitado). O TextReg visa minimizar um objetivo regularizado: $\min LD_{train}(p) + \lambda I(p)$.

Como a otimização de prompts ocorre em um espaço de texto discreto não diferenciável, o TextReg realiza este objetivo através de três etapas complementares que geram e aplicam "gradientes textuais":

1. Purificação de Gradientes de Dupla Evidência

Esta etapa opera na fonte do sinal de otimização para filtrar gradientes de tarefa brutos antes que influenciem o prompt. Ela distingue entre regras amplamente aplicáveis e correções estreitas e específicas de amostra usando duas fontes de evidência:

• Evidência de Caso Local: Analisa se uma regra de gradiente proposta traça diretamente para características idiossincráticas do mini-lote atual (por exemplo, entidades específicas ou condições de caso extremo raras).
• Evidência de Recorrência Global (RuleBank): Mantém uma memória de regras generalizadas aceitas. Um gradiente é retido apenas se tiver suporte de recorrência suficiente ao longo das etapas de otimização, indicando que captura a estrutura geral da tarefa em vez de uma correção única.
• Ação: Os gradientes são classificados como Regras Generalizadas (retidas e reescritas de forma concisa), Correções de Caso (rejeitadas) ou Apenas Estilo (rejeitadas).

2. Regularização de Edição Semântica (SER)

Esta etapa diagnostica a ineficiência que já se acumulou no prompt ou foi introduzida pelo processo de reescrita. Ela estima a mudança na ineficiência representacional ($\Delta \log I(p)$) entre o prompt anterior ($p_{t-1}$) e o prompt atual ($p_t$) usando uma abordagem de diferenças finitas:

• Canal de Capacidade: Dispara se o crescimento relativo do comprimento em tokens exceder um limite.
• Canal de Escopo: Utiliza um analisador de diff semântico para determinar se a composição de regras estreitou (adicionou correções específicas de caso) ou alargou.
• Ação: Se degradação for detectada, o SER sintetiza um gradiente de regularização textual ($g_{reg}$) instruindo o modelo a comprimir o prompt, fundir regras redundantes ou substituir regras estreitas por princípios mais amplos.

3. Atualização de Prompt Guiada por Regularização

A etapa final realiza a reescrita do prompt. Ela seleciona um novo candidato de prompt ($p_{t+1}$) de um conjunto de edições fiéis à tarefa (aqueles que implementam o gradiente de tarefa purificado $\tilde{g}_{task}$) que seja mais compatível com o gradiente de regularização ($g_{reg}$).

• A atualização prioriza a melhoria da tarefa, mas direciona a seleção para edições que minimizem aumentos no custo de capacidade ou no estreitamento do escopo.
• Se nenhum candidato satisfizer ambos os sinais, o sistema recua para a atualização fiel à tarefa, garantindo que a regularização atue como uma penalidade suave em vez de uma restrição rígida que interrompe a otimização.

Principais Contribuições

1. Formalização da Ineficiência Representacional: O artigo define o overfitting distribucional de prompts como uma falha de eficiência de representação na otimização em espaço de texto discreto, introduzindo uma medida de dois fatores ($I(p)$) que captura a interação entre o comprimento do prompt e a especificidade das regras.
2. Otimização Regularizada em Espaço de Texto: O TextReg introduz um framework para realizar objetivos de penalidade suave no espaço de texto sem parâmetros diferenciáveis, utilizando Purificação de Gradientes de Dupla Evidência, Regularização de Edição Semântica e Atualização de Prompt Guiada por Regularização.
3. Melhoria na Generalização OOD: Experimentos extensivos demonstram que controlar a ineficiência representacional mitiga significativamente o overfitting, levando a desempenho robusto em conjuntos de dados e arquiteturas de modelos.

Resultados Experimentais

Os autores avaliaram o TextReg em seis benchmarks de raciocínio (Dedução Lógica, Rastreamento de Objetos Embaralhados, GSM8K, SVAMP, MultiArith) usando quatro backends de LLM diferentes (Qwen2, Phi-3.5, Llama-3, Llama-3.1). Os prompts foram otimizados em tarefas de "3 objetos" ou fontes e testados em variantes mais difíceis de "5/7 objetos" e em diferentes conjuntos de dados aritméticos.

• Desempenho: O TextReg superou consistentemente as linhas de base (CoT Zero-shot, TextGrad e REVOLVE) na generalização OOD.
  • Alcançou ganhos de precisão de até +11,8% sobre o TextGrad e +16,5% sobre o REVOLVE em benchmarks específicos.
  • Notavelmente, enquanto os métodos de linha de base frequentemente degradavam a precisão OOD abaixo da linha de base CoT não otimizada (exibindo overfitting), o TextReg preservou e estendeu os benefícios de generalização do CoT.
• Ablação: A remoção de qualquer um dos três componentes principais resultou em uma queda consistente no desempenho, confirmando sua necessidade conjunta.
• Resiliência: O TextReg manteve desempenho forte mesmo quando os LLMs que dirigiam papéis específicos (purificação de gradiente, análise de regularização ou reescrita de prompt) foram rebaixados para modelos mais fracos, sugerindo que o sinal de regularização é estrutural e não limitado à capacidade.

Significado e Alegações

O artigo alega que o overfitting distribucional de prompts é fundamentalmente uma falha de eficiência de representação, e não meramente um artefato da dinâmica de otimização. Ao tratar a otimização de prompts através da lente da regularização — especificamente controlando o crescimento do custo de capacidade e do estreitamento do escopo — o TextReg fornece um mecanismo principiado para produzir prompts que generalizam além da distribuição de treinamento.

Os autores posicionam este trabalho como um avanço metodológico que torna o comportamento do prompt mais previsível e mais fácil de auditar. Eles observam explicitamente as limitações atuais: o framework visa raciocínio de turno único com regras comportamentais bem definidas, deixando a geração aberta, prompts de múltiplos turnos e instruções de agente (onde as estruturas de regras se tornam difusas) para trabalhos futuros.