Resumo Técnico: Engenharia de Contexto Adaptativa ao Conhecimento (KACE) para Raciocínio Matemático

Declaração do Problema

A engenharia de contexto emergiu como uma estratégia viável para aumentar o desempenho de Grandes Modelos de Linguagem (LLMs) congelados sem atualizar seus pesos. No entanto, para o raciocínio matemático complexo, as abordagens existentes enfrentam um gargalo crítico: a acumulação de contexto monolítica. Quando o feedback e as lições aprendidas são agregados em um único prompt crescente, dois problemas surgem:

1. Inflação de Contexto (Context Bloat): Orientações irrelevantes acabam por sufocar informações úteis, degradando o desempenho.
2. Teto do Depósito de Conhecimento: A base de conhecimento reutilizável é estritamente limitada pelo tamanho do prompt ativo.

Métodos atuais (ex: ACE, GEPA) frequentemente confundem armazenamento (o que é aprendido ao longo das execuções) com uso (o que é incluído no prompt para um problema específico). Consequentemente, cada problema deve ler todo o depósito de conhecimento acumulado, independentemente de a informação ser relevante para a dificuldade ou domínio específico da tarefa. Além disso, embora a alocação adaptativa de computação (variar o esforço de inferência com base na dificuldade) seja uma estratégia conhecida como eficaz, ela raramente é combinada com a recuperação de conhecimento estruturada e consciente da dificuldade.

Metodologia: Estrutura KACE

O KACE introduz um framework que desacopla o armazenamento do conhecimento aprendido de seu uso, organizando o conhecimento em uma Árvore Epistêmica estruturada e recuperando-o condicionalmente com base em um sinal de dificuldade empírica.

1. A Árvore Epistêmica (Armazenamento)

Em vez de um único prompt, o KACE constrói uma base de conhecimento persistente $K$ consistindo de cartões tipados (ex: lemas, invariantes, padrões de decomposição, regras de verificação). Esta árvore é estratificada ao longo de dois eixos:

• Níveis de Dificuldade ($T$): Fácil (ES), Médio (MS), Difícil (HS).
• Domínios Epistêmicos ($D$): Domínios matemáticos (ex: geometria, combinatória).

A árvore é um objeto de estrutura em blocos $K = \{K_b\}_{b \in B}$, onde cada bloco $b = (t, d)$ contém cartões visíveis apenas naquele nível de dificuldade e domínio específicos. Cartões universais são armazenados separadamente e são visíveis em todos os níveis.

2. Autoconsistência em Níveis Bloqueados (O Classificador e o Solucionador)

O KACE emprega um pipeline de autoconsistência em níveis bloqueados que serve a dois propósitos: resolver o problema e classificar sua dificuldade. O pipeline procede em estágios crescentes:

• Solucionador Fácil (ES): 2 tentativas. Sai com acordo unânime de 2/2. Não lê nenhum cartão aprendido.
• Solucionador Médio (MS): 3 tentativas. Sai com maioria de 2/3. Lê cartões do nó $(MS, d)$.
• Solucionador Difícil (HS): 5 tentativas. Sai com pluralidade de 2/5. Lê cartões do nó $(HS, d)$.
• Fallback: Se nenhum nível sair, um pool de 10 tentativas é utilizado.

O nível no qual o sistema sai fornece um sinal de dificuldade empírica. Este sinal, combinado com um classificador de domínio grosseiro, projeta o problema para um bloco específico na Árvore Epistêmica. Crucialmente, problemas fáceis saem sem cartões, enquanto problemas escalonados recuperam apenas o ramo correspondente da árvore, evitando a inflação de contexto.

3. Construção Offline (Aprendizado)

A Árvore Epistêmica é construída offline a partir de traços de treinamento através de um processo de duas fases:

• Fase 1 (ADD): Um loop de aprendizado local ao bloco. Para cada bloco $(t, d)$, o sistema analisa traços falhos onde o solucionador saiu naquele nível. Um modelo professor destila "resíduos" (conhecimento ausente) em novos cartões, que são adicionados ao bloco correspondente. Isso segue uma abordagem de minimização de coordenadas de bloco, otimizando partes locais da árvore sem reotimização global.
• Fase 2 (REFINE): Um curador avalia a árvore provisória sob a distribuição induzida da política atualizada. Ele edita, realoca ou descarta cartões para garantir que permaneçam úteis e não redundantes quando o solucionador realmente os utiliza. Isso aborda o problema de mudança de distribuição comum no aprendizado iterativo.

Principais Contribuições

1. Árvore Epistêmica Estratificada por Dificuldade e Domínio: O KACE armazena conhecimento de raciocínio matemático reutilizável fora do prompt ativo, em cartões tipados organizados por dificuldade e domínio. Isso separa o corpo de conhecimento durável da pequena fatia de contexto lida pelo solucionador.
2. Autoconsistência em Níveis Bloqueados como Classificador de Dificuldade: O pipeline em níveis atua como uma alternativa de computação equivalente ao Best-of-N de autoconsistência fixo (igualando ou superando o Best-of-5 em três benchmarks), enquanto fornece simultaneamente um sinal de dificuldade empírica calibrado. Este sinal preserva a ordenação da taxa de resolução do próprio modelo em 78% dos pares AIME 2025 e 80% dos pares MATH-HARD, eliminando a necessidade de um classificador de dificuldade separado e treinado.
3. Evidência Empírica sobre Raciocínio Difícil: O artigo demonstra que separar o armazenamento do uso via recuperação condicional supera significativamente a acumulação de contexto monolítica.

Resultados Experimentais

Experimentos foram conduzidos em três benchmarks desafiadores: AIME 2025, MATH-HARD (Nível 4–5) e OlymMATH-EN (subconjunto verificável).

• Ganhos de Desempenho: No AIME 2025, o KACE alcançou 62,2% de precisão. Isso representa um ganho absoluto de 10,4 pontos sobre o Best-of-5 de autoconsistência fixo (51,8%) e um ganho de 5,6 pontos sobre a base de comparação mais forte de contexto aprendido, Tiered + GEPA (56,6%).
• Eficiência de Computação: O KACE alcança esses ganhos com um orçamento de chamadas de solucionador comparável ao Best-of-5. A abordagem em níveis naturalmente encerra precocemente em problemas mais fáceis, mantendo a média de chamadas próxima a 5.
• Estudos de Ablação:
  • Remover o eixo de domínio (achatando para apenas dificuldade) reduziu a precisão de 62,2% para 54,4%.
  • Remover o eixo de dificuldade (contexto monolítico) reduziu a precisão para 51,6%.
  • Substituir cartões destilados por reflexões brutas do solucionador reduziu a precisão para 59,3%, destacando o valor dos cartões compactos destilados pelo professor.
  • Substituir a projeção de árvore fixa por recuperação genérica (roteador LLM ou embedding) resultou em desempenho inferior (~56%), sugerindo que a projeção estruturada de dificuldade-domínio é superior à recuperação genérica para esta tarefa.

Significância e Alegações

O artigo alega que o principal gargalo na engenharia de contexto para raciocínio matemático difícil não é a quantidade de conhecimento armazenado, mas a capacidade de expor a parte certa desse conhecimento no momento certo.

• Separação Estrutural: O KACE demonstra que tratar o contexto aprendido como um recurso estruturado, lido condicionalmente com base na dificuldade e domínio, é mais eficaz do que manuais (playbooks) monolíticos.
• Calibração sem Treinamento: O caminho de saída da autoconsistência em níveis serve como um sinal de dificuldade robusto derivado do modelo, que não requer dados de treinamento externos ou um classificador separado, mas se alinha de perto com as taxas de resolução empíricas.
• Auditabilidade: Ao armazenar o conhecimento como cartões de linguagem natural organizados por dificuldade e domínio, o comportamento "aprendido" do sistema é inspecionável e auditável, uma propriedade não presente em modelos com pesos atualizados.

Os autores observam limitações, incluindo a dependência de padrões de erro repetíveis para o aprendizado, a falta de transferência automática entre benchmarks e a observação de que escalar a base de conhecimento além das falhas de traços de treinamento (ex: via "imaginação") leva ao overfitting sem um verificador mais forte. O trabalho posiciona o KACE como um modelo para estudar o contexto como um recurso estruturado e lido condicionalmente, em vez de uma acumulação estática de texto.