PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution

O PRECEPT é uma estrutura unificada para adaptação em tempo de teste que combina recuperação determinística de regras, memória consciente de conflitos e evolução de prompts guiada por Pareto para superar a degradação de recuperação, melhorar a generalização composicional e garantir robustez contra conhecimento desatualizado ou adversário em agentes LLM.

O essencial

Imagine que você tem um assistente de IA superinteligente, mas que, às vezes, age como um turista perdido em uma cidade grande: ele lê o mapa, mas se o mapa tiver um erro de digitação ou se a rua mudou de nome, ele continua insistindo no caminho errado, mesmo que você lhe diga "não, olhe aqui!".

O artigo que você enviou apresenta o PRECEPT, uma nova "arquitetura" para esses assistentes. Em vez de depender apenas da memória bagunçada do cérebro da IA (que é como tentar lembrar de tudo apenas conversando), o PRECEPT dá ao assistente um sistema de organização rigoroso, como um bibliotecário extremamente eficiente e um detetive cético.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Turista" que se Perde

Os assistentes de IA atuais (chamados de Agentes LLM) aprendem conversando e lendo textos. O problema é que, quando as coisas ficam complexas (muitas regras, muitas condições), eles começam a se confundir.

• A analogia: Imagine que você pede para um turista encontrar um restaurante específico. Se você der 3 dicas, ele consegue. Se você der 10 dicas ("está perto do parque, mas não do cinema, é azul, mas não verde..."), o turista começa a alucinar e a escolher o restaurante errado, porque tentou "adivinhar" o significado em vez de seguir as regras exatas.
• O erro: Eles confundem "parecido" com "exato". Se o assistente acha que "rua A" é parecida com "rua B", ele pode ir para a errada.

2. A Solução: O PRECEPT (O Bibliotecário e o Detetive)

O PRECEPT resolve isso com três ferramentas principais, que trabalham juntas como uma equipe:

A. A Busca Exata (O Bibliotecário Rigoroso)

Em vez de perguntar à IA "o que você acha que devemos fazer?", o PRECEPT usa um índice de busca exata.

• A analogia: Pense em um dicionário ou um código de barras. Se você tem um código "A1", você vai direto para a página exata onde está escrito o que fazer. Não há "achismo".
• Como funciona: O sistema transforma cada situação em uma "chave" única. Se a chave for "A1", ele busca a regra exata para "A1". Isso elimina 100% dos erros de interpretação quando a regra existe. É como ter um GPS que não pergunta "será que é aqui?", ele apenas diz "vire à direita".

B. O Detetive de Conflitos (O Chefe Cético)

Às vezes, o assistente tem duas informações: uma antiga (de um manual) e uma nova (o que acabou de acontecer). Elas podem brigar.

• A analogia: Imagine que você tem um manual antigo que diz "o trem sai às 8h", mas você acabou de ver um aviso no celular dizendo "o trem atrasou". Um assistente comum pode ignorar o celular e seguir o manual. O PRECEPT tem um Detetive.
• Como funciona: O Detetive usa matemática (Bayesiana) para perguntar: "Qual fonte é mais confiável agora?". Se o manual diz uma coisa e a experiência recente diz outra, o Detetive descarta o manual antigo e confia na experiência nova. Ele aprende a desconfiar de informações "velhas" ou "adversárias" (que parecem verdadeiras, mas são armadilhas).

C. O Treinador de Prompts (O Coach que Evolui)

O sistema tem uma camada chamada COMPASS. Imagine que o assistente está jogando um jogo de tabuleiro.

• A analogia: O COMPASS é como um treinador que observa o jogo. Se o jogador erra muito, o treinador não apenas diz "tente de novo", ele reescreve as regras do jogo para o jogador, criando uma estratégia melhor.
• Como funciona: O sistema testa várias versões de "instruções" (prompts) e escolhe a que funciona melhor, mantendo uma diversidade de estratégias para não ficar preso em um único jeito de pensar (evitando que o assistente fique "teimoso").

3. O Resultado: Por que isso é incrível?

O artigo mostra testes onde o PRECEPT foi muito superior aos concorrentes:

1. Não se perde em labirintos complexos: Enquanto outros assistentes falhavam quando havia muitas regras misturadas (como tentar combinar 10 ingredientes diferentes), o PRECEPT acertava quase sempre na primeira tentativa.
2. Aprende rápido e esquece o errado: Se uma regra antiga se torna inútil (porque o mundo mudou), o PRECEPT a apaga rapidamente. Outros assistentes continuam insistindo na regra velha, como se estivessem presos no passado.
3. Economia de energia: O PRECEPT usa muito menos "tentativas" (passos) para resolver um problema. Enquanto outros tentam 5 ou 6 vezes para acertar, o PRECEPT geralmente acerta em 2 ou 3.

Resumo em uma frase

O PRECEPT transforma um assistente de IA que "adivinha" e se confunde em um operador de precisão que usa um índice exato para encontrar regras, um detetive para filtrar informações falsas e um treinador para melhorar suas estratégias continuamente.

A lição final: Para criar agentes de IA confiáveis no mundo real (como em logística, saúde ou finanças), não basta apenas ter um modelo de IA "maior" ou "mais inteligente". É preciso dar a ele estrutura, regras claras e mecanismos para corrigir seus próprios erros, em vez de depender apenas da sorte ou da interpretação de texto.

Resumo técnico

Resumo Técnico: PRECEPT

1. O Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) que armazenam conhecimento como linguagem natural enfrentam desafios críticos ao serem implantados em cenários do mundo real:

• Degradação na Recuperação: À medida que o número de condições aumenta, a precisão da recuperação de regras baseadas em texto (memória verbal) decai exponencialmente devido a erros de interpretação de correspondência parcial.
• Falta de Generalização Composicional: Dificuldade em combinar regras atômicas aprendidas para formar políticas complexas sem necessidade de re-treinamento massivo.
• Cegueira a Desvios (Drift): Incapacidade de detectar quando regras estáticas se tornam obsoletas ou quando o ambiente muda, levando a falhas cíclicas.
• Ineficiência de Amostragem: Métodos baseados em Aprendizado por Reforço (RL) exigem um número proibitivo de tentativas (β > 100) para aprender, enquanto métodos verbais exigem muitas interações para corrigir erros.
• Conflitos de Conhecimento: Falta de mecanismos explícitos para lidar com contradições entre conhecimento estático (documentação) e dinâmico (experiência de execução), especialmente sob conhecimento estático adversário.

2. Metodologia: A Arquitetura PRECEPT

O PRECEPT é um framework unificado para adaptação em tempo de teste (Test-Time Adaptation) que substitui a dependência exclusiva de inferência probabilística do LLM por um sistema híbrido de recuperação determinística e aprendizado estruturado. Ele possui três componentes principais acoplados:

A. Recuperação Determinística e Hierarquia de Níveis Semânticos

• Recuperação Exata (O(1)): Em vez de buscar por similaridade semântica, o sistema usa chaves de condição estruturadas para realizar buscas exatas em uma tabela hash. Isso elimina erros de interpretação na aplicação de regras correspondentes.
• Empilhamento Composicional: O sistema aprende N preceitos atômicos e, no momento do teste, compõe soluções para até 2^N - 1 cenários compostos.
• Hierarquia de Níveis (Tier Hierarchy): Para resolver conflitos entre regras compostas, as condições são classificadas em três níveis de prioridade:
  1. Segurança (Tier 3): Sempre vence (ex: cancelamentos, riscos).
  2. Conformidade (Tier 2): Vence sobre preferências (ex: auditorias, regiões).
  3. Preferências (Tier 1): Padrão (ex: custo, velocidade).
     Isso permite uma resolução determinística de conflitos sem depender da interpretação do LLM.

B. Memória de Conflito e Adaptação a Desvios (Evo-Memory)

Inspirado no princípio da "Rainha Vermelha" (Digital Red Queen), o PRECEPT mantém um histórico crescente de falhas e restrições para evitar ciclos de erro.

• Resolução de Conflitos Tipo I (Estático vs. Dinâmico): Utiliza um detector de ensemble (6 métodos) e inferência Bayesiana (distribuições Beta) para calcular a confiabilidade da fonte. Se o conhecimento estático (ex: documentação) contradiz a experiência dinâmica (execução), o sistema usa Thompson Sampling para priorizar a fonte mais confiável, atualizando as crenças dinamicamente.
• Adaptação a Desvios (Tipo II): Implementa um mecanismo de invalidação baseado em limiar. Se uma regra falha consecutivamente (ex: 2 vezes), sua confiança é reduzida e a regra é invalidada, forçando o agente a re-aprender a solução correta. Isso garante que regras obsoletas não persistam indefinidamente.
• RefineInterceptor: Um mecanismo de poda determinística que garante que opções já falhadas (dentro de um episódio) nunca sejam re-tentadas, eliminando falhas cíclicas com probabilidade zero de repetição.

C. COMPASS (Camada de Adaptação Dupla)

COMPASS é uma camada de controle que otimiza os prompts do sistema através de um loop externo:

• Frequência Alta (Monitor): Executa a cada passo para verificar restrições, classificar erros e aprender padrões com custo O(1).
• Frequência Baixa (Arquiteto): Disparado por eventos (falha de objetivo, nova regra), utiliza o algoritmo GEPA (evolução de prompts) combinado com seleção Pareto (otimização multi-objetivo: sucesso vs. eficiência de passos) e MAP-Elites (para manter diversidade de estratégias e evitar convergência prematura).
• Validação Verificada: A evolução do prompt é avaliada através da execução real do agente no pipeline completo, não apenas por pontuação heurística, garantindo que as mudanças melhorem a performance real.

3. Contribuições Principais

1. Aprendizado de Regras Composicionais com Recuperação Determinística: Elimina erros de correspondência parcial (0% de erro em caminhos exatos vs. 94,4% em modelos verbais com N=10) e permite generalização exponencial a partir de regras atômicas lineares.
2. Resolução Unificada de Conflitos e Adaptação a Desvios: Trata conflitos de fonte (estático vs. dinâmico) e desvios ambientais em um único framework, utilizando mecanismos Bayesianos e invalidação baseada em limiar, alcançando uma resiliência a desvios 64x superior em modelos teóricos.
3. COMPASS: Uma camada de adaptação que evolui prompts baseada em execução real e seleção Pareto, integrando-se perfeitamente ao pipeline de recuperação determinística.

4. Resultados Experimentais

Os resultados foram validados em 9-10 sementes independentes em três domínios complexos (Logística, Integração de APIs e Reservas), superando baselines aprimorados como Full Reflexion e ExpeL.

• Vantagem na Primeira Tentativa (P1): PRECEPT superou o Full Reflexion em +41,1 pontos percentuais (pp) em média.
• Generalização Composicional: Ganho de +33,3pp na capacidade de generalizar para combinações de condições não vistas durante o treinamento.
• Desempenho em Logística: Alcançou 100% de sucesso na primeira tentativa (P1) em composições de 2 vias, enquanto as baselines falharam significativamente.
• Aprendizado Contínuo: Ganho de +40 a +55pp ao aprender durante a implantação a partir de poucos exemplos (β=1).
• Resiliência a Conhecimento Adversário: Sob conhecimento estático adversário (instruções falsas mas plausíveis), o PRECEPT manteve robustez final, recuperando-se via resolução de conflitos Bayesianos, enquanto as baselines degradaram.
• Recuperação de Desvio (Drift): Após uma mudança abrupta nas regras do ambiente, o PRECEPT recuperou +55,0pp de desempenho, enquanto o Full Reflexion quase não melhorou (+3,8pp).
• Eficiência: Redução de 61% no número de passos em comparação com baselines, atingindo frequentemente o mínimo teórico de 2 passos (recuperação + execução).

5. Significado e Impacto

O PRECEPT representa uma mudança de paradigma na construção de agentes LLM:

• Estrutura vs. Escala: Demonstra que a confiabilidade em agentes críticos não vem apenas de modelos maiores ou mais contextos, mas de arquiteturas estruturadas que contornam as viéses generativos do LLM.
• Determinismo Garantido: Ao usar recuperação exata e poda determinística, o sistema oferece garantias formais (ex: probabilidade zero de repetir falhas conhecidas) que métodos puramente probabilísticos não podem oferecer.
• Adaptabilidade Realista: A capacidade de lidar com conhecimento estático adversário e desvios ambientais torna o framework viável para domínios de alto risco como logística autônoma, conformidade em saúde e regulação financeira.
• Auditabilidade: Diferente de políticas de RL "caixa preta", as regras no PRECEPT são explícitas, armazenadas e inspecionáveis, facilitando a conformidade e a depuração.

Em suma, o PRECEPT prova que combinar recuperação determinística, memória de conflito Bayesiana e evolução de prompts baseada em execução cria agentes significativamente mais robustos, eficientes e adaptáveis do que as abordagens atuais baseadas apenas em reflexão verbal ou aprendizado por reforço tradicional.