Resumo Técnico: Trace2Policy

Declaração do Problema

Tarefas de decisão empresarial em domínios como auditoria, conformidade e revisão de contratos dependem do julgamento de especialistas que é frequentemente tácito, sistemático e profundamente entrelaçado com comportamentos específicos de sistemas de software. As abordagens de automação existentes enfrentam três lacunas principais:

1. Aquisição de Conhecimento: Os agentes de GUI atuais (ex: CogAgent, SeeAct) aprendem como operar interfaces (clicar, preencher campos), mas falham em extrair a lógica de decisão subjacente ou heurísticas. O processo de mineração de processos descobre fluxos de atividade, mas não o "porquê" por trás de decisões específicas.
2. Refinamento de Conhecimento: Métodos de extração de etapa única (destilação de LLM, aprendizado de poucos disparos ou entrevistas com especialistas) capturam apenas procedimentos superficiais. Eles falham em descobrir o "conhecimento profundo" — como convenções de codificação do sistema, semânticas de ação implícitas e discrepâncias entre reivindicações e ações — levando a platôs de desempenho (frequentemente em torno de 70%) e, em alguns casos, a um "deslocamento de autoridade", onde modelos fortes degradam ao serem forçados a seguir regras não refinadas.
3. Evolução de Conhecimento: A maioria dos sistemas de agentes permanece estática após a implantação. Embora existam pesquisas de agentes autoevolutivos, poucos mecanismos utilizam a verdade fundamental natural fornecida pelos fluxos de trabalho de revisão humana existentes para permitir uma adaptação contínua e de baixo custo às mudanças nas condições de negócio.

Metodologia: Estrutura Trace2Policy

Os autores propõem o Trace2Policy, uma estrutura de ponta a ponta que transforma traços brutos de comportamento de especialistas em agentes de decisão autoevolutivos. O pipeline consiste em cinco fases:

Fase 0–1: Captura e Estruturação de Comportamento

• Observador de Agente: Captura passivamente o comportamento multimodal do especialista (foco da janela, cliques do mouse com capturas de tela, entrada de teclado, eventos do navegador) e os segmenta em trajetórias de nível de tarefa usando âncoras de negócio (ex: números de conhecimento de transporte).
• Estruturação por VLM: Um Modelo de Linguagem Visual (VLM) converte trajetórias brutas em registros de decisão estruturados, extraindo sistemas consultados, observações principais, cadeias de raciocínio e evidências.

Fase 2: Destilação Automatizada de Política

Um LLM destila uma política inicial (chamada de Skills ou Habilidades) a partir dos registros estruturados. Esta política é um documento de regras externo e legível por humanos (Markdown) organizado em três camadas:

• Camada de Fluxo de Trabalho (Workflow): Ordem de consulta e parâmetros para os sistemas.
• Camada de Decisão: Roteamento de caminho e condições de julgamento.
• Camada de Plataforma: Esquemas de API, codificações de campos e procedimentos de login.

Fase 3: EISR (Refinamento de Habilidades Iterativo Baseado em Erros)

A inovação central é o EISR, um loop estruturado de diagnóstico e correção que trata o documento de regras como o alvo de otimização, não os pesos do modelo.

1. Execução e Comparação: A política é executada em um conjunto de validação, e os erros são identificados contra a verdade fundamental (ground truth).
2. Diagnóstico Estruturado: Os erros são agrupados por causa raiz em três tipos: MISSING (ausência de regra para o caso), WRONG (regra prescreve a ação errada) ou CONFLICT (regras contraditórias).
3. Refinamento Direcionado: Um LLM propõe correções (patches) para cada grupo.
4. Portão de Regressão: As correções são aceitas apenas se passarem em um teste de regressão, garantindo que casos anteriormente corretos não sejam quebrados.

• Auto-EISR: Uma variante impulsionada por LLM onde um agente "Executor" gera erros e agentes de "Diagnóstico/Refinamento" propõem correções, automatizando o processo a uma fração do custo humano.

Fase 4: Implantação em Produção e Autoevolução

A política refinada é implantada. Auditores humanos continuam a revisar casos, fornecendo verdade fundamental natural a custo marginal zero. Quando erros semelhantes se acumulam (≥5 casos), um ciclo incremental de EISR é acionado para atualizar as regras, criando um volante de melhoria contínua.

Principais Contribuições

1. Trace2Pipeline: Um pipeline validado de traços brutos até agentes implantados, demonstrado em uma implantação de produção de 22 dias em uma grande transportadora de logística (3.349 casos de auditoria).
2. Algoritmo EISR: Um método de refinamento de regras usando LLMs como otimizadores com aceitação controlada por portão de regressão. Ele descobre com sucesso "regras armadilha" — conhecimento profundo invisível para métodos de etapa única, tais como:
   • Ambiguidade de Estado de Codificação: Distinguir entre códigos de responsabilidade atuais e originais em exibições do sistema.
   • Prefixos de Ação Implícitos: Reconhecer sinais não documentados (ex: prefixos "C:") em comentários de texto.
   • Discrepâncias de Reivindicação: Diferenciar entre realizar uma ação e aceitar uma reivindicação específica.
3. Observações de Execução de Formulário: O artigo identifica que a qualidade da regra é um alavancador de desempenho mais dominante do que a capacidade do modelo.
   • Ganho de Compilação: As mesmas regras refinadas pelo EISR, quando compiladas em Python determinístico, superam as mesmas regras usadas como prompt de LLM em 9,8 pontos percentuais (79,6% vs. 69,8%) em produção.
   • Falha de Fallback de LLM: Em tarefas de taxa de base enviesada, reativar um fallback de LLM (um padrão de design comum) degrada monotonicamente a precisão porque o prior do LLM não corresponde à distribuição calibrada e enviesada da cascata de regras.
4. Deslocamento de Autoridade: Regras não refinadas podem prejudicar ativamente LLMs fortes (reduzindo a precisão em 7–9pp) ao forçá-los a seguir heurísticas incorretas, enquanto as regras refinadas pelo EISR fecham essa lacuna.
5. Eficiência de Custo: O Auto-EISR alcança desempenho de refinamento comparável a especialistas por US$ 5–10 por ciclo, em comparação com aproximadamente 70 horas de especialistas.

Resultados

• Desempenho em Produção: O pipeline compilado e refinado pelo EISR alcançou 79,6% de precisão no benchmark de treinamento e 77,3% em um conjunto de teste independente, superando a linha de base histórica de LLM puro (72,7%) e as linhas de base zero-shot (43,8%).
• Consistência entre Modelos: Em cinco LLMs diferentes, a variância de desempenho atribuível à versão da regra (v1 vs. v8) excedeu a variância atribuível à escolha do modelo.
• Transferência entre Domínios: O loop de refinamento (Fase 3) foi testado em benchmarks públicos (LegalBench hearsay, BPIC 2012) sem reengenharia. Na tarefa LegalBench hearsay, o refinamento EISR elevou a precisão de ~84% para 92,2%, recuperando-se de um "excesso de ajuste" inicial no Round 1.
• Custo-Benefício: O Auto-EISR reduziu o custo do refinamento de regras em aproximadamente 100x em comparação com o refinamento humano, mantendo uma precisão de ação comparável.

Significância e Alegações

O artigo posiciona o Trace2Policy como uma contribuição de Uso Inspirado (Use-Inspired), abordando uma necessidade operacional específica em conformidade empresarial. Sua significância reside em:

• Mudança do Alvo de Otimização: Mover da otimização de parâmetros de modelos ou prompts para a otimização de documentos de regras externos, auditáveis e versionados.
• Extração de Conhecimento Profundo: Demonstrar que a análise iterativa de erros é necessária para trazer à tona convenções específicas do sistema que métodos de etapa única não capturam.
• Observação de Pacote de Formulário: Destacar que, em ambientes de conformidade sensíveis e de taxa de base enviesada, a combinação de regras refinadas + compilação determinística produz resultados superiores em comparação com o prompting de LLM ou fallbacks híbridos de LLM. Os autores explicitamente observam que esta é uma observação específica de regime e não uma alegação universal para todas as tarefas de decisão.
• Autoevolução Escalável: Fornecer um mecanismo para que os agentes evoluam continuamente usando o loop de feedback natural dos fluxos de trabalho humanos existentes, eliminando a necessidade de rotulagem de recompensa explícita e custosa.

Os autores mantêm a modéstia, reconhecendo limitações como o estudo primário de domínio único, tamanhos de amostra de teste independentes modestos e o potencial de "ancoragem do auditor" (onde revisores humanos podem ser influenciados pela recomendação inicial do agente). Eles chamam para trabalhos futuros para isolar o componente de "apenas formulário" do ganho de compilação e para realizar validações em múltiplos domínios mais amplos.