Resumo Técnico: Aprendizado em Contexto Autoaperfeiçoável

Declaração do Problema

O aprendizado em contexto (ICL) permite que modelos de linguagem de grande porte (LLMs) realizem novas tarefas condicionando-se a um prompt com poucos exemplos, sem atualizar os parâmetros do modelo. No entanto, essa capacidade é notoriamente frágil; o desempenho é altamente sensível à escolha, formatação e ordenação das demonstrações. Os métodos existentes de melhoria em tempo de teste geralmente se enquadram em três categorias: seleção de demonstrações, ordenação de demonstrações e calibração de saída. Essas abordagens compartilham limitações estruturais: frequentemente operam sobre decisões discretas no nível do prompt, exigem um conjunto de rótulos finito e pré-definido (restringindo-as a tarefas de classificação) ou dependem de dados externos e internos do modelo. Consequentemente, há uma falta de métodos de calibração em tempo de teste de propósito geral que possam melhorar o ICL tanto para tarefas de classificação quanto para geração livre, sem exigir ajuste fino ou recursos externos.

Metodologia

O método proposto, Aprendizado em Contexto Autoaperfeiçoável, aborda essas limitações otimizando os embeddings contínuos de um prompt fixo com poucos exemplos em tempo de teste. A estratégia central envolve tratar o prompt como uma caixa preta e ajustar iterativamente sua matriz de embeddings para maximizar um proxy de confiança auto-supervisionado derivado inteiramente das próprias previsões do modelo.

1. O Sinal de Otimização (Proxy de Confiança)

O método baseia-se na observação de que as log-probabilidades que um modelo atribui às suas saídas demonstradas (obtidas via uma única passagem direta forçada pelo professor, sem geração de tokens) fornecem um sinal significativo da qualidade da inferência da tarefa. Esse sinal é formalizado como um proxy escalar limitado $f(X)$, onde $X$ é a matriz de embeddings do prompt. O proxy é uma combinação linear ponderada de três componentes:

• Confiança Preditiva Absoluta ($\bar{C}$): Uma média normalizada por comprimento da média geométrica das probabilidades de tokens em todos os intervalos de saída demonstrados. Isso garante comparabilidade entre rótulos de diferentes comprimentos.
• Robustez Agrupada ($R$): Uma medida de fragilidade da cauda. Em vez de depender apenas da média, este componente calcula uma quantil fixo (por exemplo, o 10º percentil) de todas as probabilidades de tokens verdadeiros em todas as demonstrações. Isso penaliza casos em que um rótulo parece confiável em média, mas contém tokens de baixa probabilidade que são outliers.
• Ganho de Informação ($G$): Uma medida de melhoria progressiva. Rastreia se a confiança do modelo aumenta à medida que processa demonstrações posteriores, refletindo a natureza sequencial da inferência de tarefas autoregressiva.

O proxy final é definido como $f(X) = \alpha\bar{C}(X) + \beta R(X) + \gamma G(X)$, com pesos somando 1.

2. Otimização de Ordem Zero

Como o proxy é não suave e a retropropagação através do modelo é proibitivamente cara em tempo de teste, o método emprega otimização de ordem zero (especificamente, suavização gaussiana) para estimar o gradiente do proxy em relação aos embeddings de entrada.

• Processo: O algoritmo estima o gradiente avaliando o proxy nos embeddings atuais e em embeddings perturbados por ruído aleatório amostrado de uma distribuição gaussiana.
• Restrições: Para evitar que os embeddings se desviem para regiões fora da distribuição, o método emprega:
  • Limitação de Gradiente: Para limitar grandes atualizações.
  • Restrição de Similaridade Cosseno: Para garantir que os embeddings atualizados permaneçam direcionalmente próximos do original.
  • Portão Inicial de Proxy: A otimização é ignorada se o valor inicial do proxy for muito baixo, pois o sinal de gradiente é exponencialmente plano próximo de zero.
• Escopo: As perturbações são restritas à região de demonstração do prompt; os tokens de consulta não são perturbados, pois suas log-probabilidades não fazem parte do cálculo do proxy sob atenção causal.

3. Calibração em Tempo de Teste

O procedimento é inteiramente plug-and-play. Não requer acesso aos parâmetros do modelo, nenhum dado externo, nenhum conjunto de rótulos pré-definido e nenhuma geração de tokens durante a fase de otimização. Opera exclusivamente sobre os embeddings de entrada e as log-probabilidades do modelo.

Principais Contribuições

• Intervenção no Espaço de Embeddings: O artigo propõe uma estratégia fundamentalmente diferente da engenharia de prompts discreta, intervindo diretamente na matriz contínua de embeddings do prompt, remodelando a distribuição de saída enquanto mantém a entrada legível por humanos intacta.
• Proxy Agnóstico à Tarefa: O proxy de confiança proposto é aplicável tanto a tarefas de classificação quanto a tarefas de geração livre, superando a limitação estrutural de bases existentes que exigem conjuntos de rótulos finitos.
• Sinal Auto-supervisionado: O método deriva seu sinal de otimização exclusivamente das próprias previsões do modelo nas demonstrações fornecidas, não exigindo rótulos verdadeiros para a consulta ou oráculos externos.
• Eficiência de Ordem Zero: Ao utilizar otimização de ordem zero, o método evita o custo computacional da retropropagação e a sobrecarga de memória de armazenar gradientes, tornando-o viável para aplicação em tempo de teste em modelos grandes.

Resultados Experimentais

O método foi avaliado no ICLEval, um benchmark projetado para isolar a capacidade de ICL do conhecimento de pré-treinamento usando strings de hash e tarefas de aprendizado de regras. A avaliação cobriu 12 tarefas (cópia exata e aprendizado de regras) em três modelos: Llama 3.1-8B, Qwen3-4B e Gemma 2-2B.

• Desempenho: O método proposto consistentemente igualou ou superou o modelo base em todas as tarefas e modelos. Nunca causou degradação.
  • Llama 3.1-8B: A precisão média melhorou de 0,67 para 0,71 (+6,0%).
  • Qwen3-4B: A precisão média melhorou de 0,65 para 0,72 (+10,8%).
  • Gemma 2-2B: A precisão média melhorou de 0,45 para 0,48 (+6,7%).
• Significância Estatística: Testes de McNemar unilaterais confirmaram melhorias estatisticamente significativas para os três modelos ($p < 0,05$).
• Comparação com Baselines: No subconjunto de classificação, o método superou ou igualou baselines específicas de classificação (Calibração Contextual, DC-PMI, DEmO) na maioria das tarefas, apesar de operar sem um espaço de rótulos pré-definido.
• Correlação Proxy-Desempenho: Uma correlação positiva estatisticamente significativa foi encontrada entre a melhoria no valor do proxy e o ganho de precisão a jusante em todas as tarefas, confirmando que o proxy codifica um sinal de otimização confiável.

Significância e Alegações

O artigo alega que o método proposto demonstra que as log-probabilidades das demonstrações constituem uma superfície de otimização confiável para o aprendizado em contexto. A direção de ascensão dessa superfície alinha-se com o desempenho a jusante, sugerindo que a confiança interna do modelo em seus próprios exemplos é um sinal suficiente para autoaperfeiçoamento.

Os autores enfatizam que essa abordagem é ortogonal às famílias existentes de melhoria de ICL (seleção, ordenação, calibração) e pode ser composta com elas. A significância do método reside em sua capacidade de melhorar a confiabilidade do ICL sem:

1. Ajustar os parâmetros do modelo.
2. Gerar tokens durante a fase de calibração.
3. Exigir um conjunto de rótulos pré-definido (permitindo aplicação a geração livre).
4. Acessar dados externos ou internos do modelo além da camada de embeddings.

O trabalho sugere que a calibração de embeddings em tempo de teste é um mecanismo viável e de propósito geral para aumentar a robustez do aprendizado em contexto através de diversos tipos de tarefa e escalas de modelo.