Resumo Técnico: Aprendizado de Contexto Agêntico com Especificação Autodescoberta

1. Definição do Problema: O Gargalo do Aprendizado de Contexto

O artigo aborda o Aprendizado de Contexto (Context Learning), uma tarefa de inferência onde Modelos de Linguagem de Grande Escala (LLMs) devem aprender e aplicar conhecimentos novos e específicos para a tarefa a partir de contextos intrincados e longos, ausentes do pré-treinamento. Diferente das tarefas tradicionais de contexto longo (ex: compreensão de documentos), que focam na recuperação de fatos relevantes, o aprendizado de contexto exige que o modelo opere dentro de um ambiente local recém-definido (ex: um manual de produto, código regulatório ou especificação de API) onde as regras de validade são frequentemente implícitas.

Apesar do forte desempenho em tarefas de linguagem geral, os modelos de fronteira apresentam dificuldades significativas neste cenário. No CL-Bench (um benchmark projetado especificamente para aprendizado de contexto com 1.899 tarefas), até mesmo os melhores modelos pontuam abaixo de 24% de sucesso estrito na tarefa. Os autores hipotetizam que as falhas não se devem meramente à incapacidade de acessar o conteúdo dentro de contextos longos, mas sim a uma falha na aquisição de especificações locais — as restrições comportamentais, formatos, regras de tratamento de casos de borda e condições de completude distribuídas pelo contexto que determinam se uma resposta é válida.

2. Análise Empírica e Diagnóstico

Os autores realizaram um estudo empírico abrangente no CL-Bench para diagnosticar a causa raiz dessas falhas:

• Análise de Modo de Falha: Embora a taxa de aprovação estrita da tarefa seja baixa (22,55%), a taxa de aprovação ao nível de rubrica é muito maior (76,01%). Isso indica que os modelos frequentemente satisfazem a maioria dos requisitos, mas falham em alguns poucos itens críticos. Entre as tarefas que falharam por exatamente um item de rubrica, 75,3% dos itens perdidos foram itens de especificação (conformidade com restrições comportamentais locais) em vez de erros de conteúdo factual.
• Taxonomia de Requisitos: Em 31.592 itens de rubrica, 55,4% avaliam a aquisição de especificação (aprendizado de regras locais), enquanto apenas 22,6% avaliam a aquisição de conteúdo (recuperação de fatos).
• Assimetria Consulta-Contexto: Um achado fundamental é que 76,7% dos itens de especificação não são inferíveis apenas pela consulta do usuário; eles estão distribuídos pelo contexto circundante (ex: em exemplos, padrões de validação ou estruturas repetidas). No entanto, 95,5% dessas especificações são rastreáveis ao contexto, o que significa que são obrigações aprendíveis e não preferências ocultas do avaliador.
• Limitações de Métodos Existentes: Os autores avaliaram doze baselines abrangendo recuperação, reestruturação de contexto, autocorreção e recuperação iterativa. Nenhum excedeu o baseline de prompting de contexto total direto por mais de um ponto percentual. Isso sugere que métodos focados em trazer à tona o conteúdo relevante para a consulta falham porque perdem as especificações de validade que governam a forma e o procedimento da resposta.

3. Metodologia: Indução de Contrato de Especificação Privada (PSCI)

Para validar o diagnóstico de que a aquisição de especificação é o gargalo, os autores propõem o PSCI, um scaffold deliberadamente simples, livre de treinamento e de tempo de teste. O PSCI opera em quatro etapas sequenciais:

1. Descoberta de Especificação (Indução): O modelo induz um contrato de especificação privada ($K$) a partir da tarefa ($x$) e do contexto ($c$). Este contrato é um conjunto estruturado de itens de obrigação (formatos, verificações de validação, restrições de ordenação) necessários para a validade local. Crucialmente, este contrato é induzido antes da geração e nunca é observado pela rubrica pública.
2. Geração: O modelo gera uma resposta rascunho inicial ($y_0$) condicionada à tarefa, ao contexto e ao contrato induzido $K$.
3. Verificação Adversária: Um verificador adversário audita $y_0$ contra $K$ (não contra a rubrica pública), produzindo um diagnóstico estruturado ($d$) que identifica quais obrigações estão satisfeitas, parcialmente satisfeitas ou violadas.
4. Reparo: Uma etapa de reparo corrige as violações identificadas em $d$ para produzir a resposta final ($\hat{y}$), preservando o conteúdo correto enquanto impõe o contrato.

A inovação central é tratar o contrato de especificação como um objeto de controle que molda a geração, em vez de um avaliador post-hoc.

4. Resultados Principais

Os autores avaliaram o PSCI no CL-Bench usando GPT-5.1, Qwen3.5-27B e Gemini 3 Pro:

• Desempenho de Estado da Arte: O PSCI alcançou uma taxa de aprovação estrita de 28,14% com o GPT-5.1 (Medium), um ganho absoluto de +5,59 pontos percentuais (melhoria relativa de 24,8%) sobre o baseline direto (22,55%). Este desempenho superou até mesmo o GPT-5.1 (High) da avaliação original do CL-Bench (23,7%).
• Generalização entre Modelos: Os ganhos foram consistentes entre os modelos:
  • Qwen3.5-27B: Melhorou de 14,14% para 19,42% (+5,28 pp).
  • Gemini 3 Pro: Melhorou de 16,14% para 22,31% (+6,17 pp).
• Ganhos ao Nível de Rubrica: O PSCI melhorou a taxa de aprovação global da rubrica em +5,12 pp. Notavelmente, a melhoria foi maior para itens de especificação (fechando 23,2% da lacuna) do que para itens de conteúdo (fechando 15,5%), confirmando que o método atinge o gargalo identificado.
• Comparação com Baselines: Todos os doze baselines alternativos (incluindo Self-RAG, Reflexion e Recuperação Iterativa) permaneceram dentro de 0,78 pp do baseline direto, falhando em igualar o desempenho do PSCI.

5. Estudos de Ablação e Validação de Mecanismo

Dezessete ablações foram conduzidas para isolar o papel das especificações específicas da tarefa:

• Necessidade de Especificidade da Tarefa: Embaralhar contratos (usando um contrato de uma tarefa diferente) causou o colapso do desempenho para abaixo do baseline (19,80%), provando que as especificações devem estar alinhadas com o contexto da tarefa específica.
• Fundamentação no Contexto: Especificações derivadas do contexto via zero-shot melhoraram o desempenho, mas especificações estáticas genéricas não, confirmando que as especificações devem ser extraídas do contexto atual.
• Imposição vs. Descoberta: A descoberta isolada (induzir o contrato sem verificar/reparar) atingiu 26,09%, mas o pipeline completo (28,14%) mostrou que a imposição é crítica.
• Objeto de Controle vs. Avaliador Post-Hoc: Induzir especificações após a geração (ordenação de Resposta-primeiro) falhou (23,67%), demonstrando que o contrato deve agir como um objeto de controle para moldar o processo de geração, não apenas como um guia de reparo.
• Eficiência de Computação: Controles com computação equivalente (ex: autorreflexão genérica, especificações estáticas repetidas) falharam em igualar o PSCI, indicando que o ganho vem da estrutura da computação (descoberta e imposição de especificação), não meramente do aumento do custo de inferência.

6. Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Diagnóstico: Identifica a aquisição de especificação — inferir obrigações locais implícitas na consulta, mas rastreáveis no contexto — como o principal gargalo no aprendizado de contexto, distinto da aquisição de conteúdo.
2. Metodologia: Introduz o PSCI, um scaffold simples, livre de treinamento, que alcança resultados de estado da arte ao induzir e impor explicitamente essas especificações locais.
3. Mecanismo: Demonstra através de extensas ablações que o aprendizado de contexto requer um processo de duas etapas: descoberta de especificação (fundamentada no contexto) e imposição de especificação (via verificação e reparo).

Os autores concluem que o aprendizado de contexto depende não apenas de recuperar os fatos corretos, mas de adquirir e aderir às "regras do jogo" locais definidas dentro do prompt. Eles observam que, embora o PSCI melhore significamente o desempenho, a imposição permanece um gargalo residual, pois os modelos frequentemente exibem as obrigações corretas, mas falham em executá-las consistentemente na saída final. O trabalho sugere que o progresso futuro no aprendizado de contexto requer mecanismos que incorporem e imponham melhor essas condições de validade local.