Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation

Título: Compiled AI: Geração Determinística de Código para Automação de Fluxos de Trabalho Baseada em LLM

1. O Problema

Os modelos de linguagem grandes (LLMs) estão sendo cada vez mais utilizados para automatizar fluxos de trabalho empresariais, evoluindo de sistemas de perguntas e respostas para arquiteturas de agentes autônomos. No entanto, as abordagens atuais (como LangChain e AutoGen) enfrentam desafios críticos para implantação em escala, especialmente em setores de alto risco como a saúde:

• Não Determinismo: Mesmo com temperatura definida como zero, os LLMs exibem variabilidade de saída (até 15-75% de variação), o que é inaceitável para processos regulados (ex: HIPAA, autorizações prévias).
• Ineficiência de Custos e Latência: A invocação repetida do modelo em tempo de execução (por transação) gera alto consumo de tokens, latência variável e custos operacionais elevados.
• Fragilidade e Falhas de Coordenação: Estudos empíricos mostram que a maioria das falhas em agentes multi-agente (79%) decorre de problemas de especificação e coordenação, não de infraestrutura.
• Superfície de Ataque: A execução contínua de LLMs aumenta a exposição a ataques de injeção de prompt e vazamento de dados.

O artigo propõe que muitos fluxos de trabalho empresariais exigem inteligência para projetar a lógica, mas não para executá-la repetidamente.

2. Metodologia: Compiled AI

O conceito central é tratar o LLM como um compilador e não como um interpretador em tempo de execução. O sistema gera código executável uma única vez durante uma fase de compilação; subsequentemente, o fluxo de trabalho roda como código estático, sem novas chamadas ao modelo.

Definição de Compiled AI: Um sistema de fluxo de trabalho que satisfaz três propriedades:

1. Invocação Única do LLM: O modelo roda apenas no momento da geração, não no momento da transação.
2. Execução Determinística Zero-Token: Os fluxos implantados rodam como código estático, sem chamadas futuras ao modelo.
3. Validação Obrigatória em Múltiplos Estágios: Cada artefato gerado passa por verificações de segurança, sintaxe, execução e precisão antes da implantação.

Arquitetura do Sistema:

• Entrada: Especificação do fluxo de trabalho em YAML.
• Orquestrador: Seleciona templates e módulos pré-validados (bibliotecas de código para handlers, processamento de dados, etc.).
• Geração Confinada: O LLM é restrito a gerar funções de lógica de negócios estreitas (20-50 linhas) dentro de templates validados, reduzindo o espaço de busca e o risco de alucinação.
• Pipeline de Validação de 4 Estágios:
  1. Segurança: Análise estática (SQL injection, secrets, etc.).
  2. Sintaxe: Parsing de AST, verificação de tipos e linting.
  3. Execução: Testes em ambiente isolado (sandbox) com fixtures de teste.
  4. Precisão: Comparação com conjuntos de dados "golden" (padrão-ouro).
• Recuperação: Se falhar em qualquer estágio, o sistema regenera o código com contexto de erro, em vez de implantar um artefato quebrado.
• Segurança em 3 Portões: Inclui detecção de injeção de prompt na entrada, análise estática de código e injeção de "canary tokens" na saída para detectar vazamentos.

3. Principais Contribuições

O artigo apresenta três contribuições principais:

1. Arquitetura de Sistema: Um design para geração de código baseada em LLMs restritos, produzindo funções de lógica de negócios acotoveladas em templates duráveis.
2. Pipeline de Geração e Validação: Um processo de quatro etapas que converte a saída probabilística do modelo em artefatos de código prontos para produção.
3. Framework de Avaliação Operacional: Uma nova métrica de avaliação focada em viabilidade de produção (amortização de tokens, determinismo, confiabilidade e custo), em vez de apenas precisão de tarefa.

4. Resultados Experimentais

Os autores avaliaram o sistema em dois tipos de tarefas distintas:

Tarefa 1: Chamada de Função (BFCL - 400 instâncias)

• Eficiência de Tokens: O Compiled AI incorre em um custo de geração único de 9.600 tokens e zero tokens de execução.
  • Ponto de equilíbrio (break-even) com LLM direto: ~17 transações.
  • Economia em 1.000 transações: 57x menos tokens que o LLM direto e 84x menos que o AutoGen.
• Custo (TCO): Para 1 milhão de transações/mês, o custo total cai de ~$22.000 (LLM direto) para $555 (Compiled AI), uma redução de 40x.
• Latência: Melhoria de 450x (4,5ms vs. 2.004ms).
• Confiabilidade: 96% de conclusão de tarefa. Todas as falhas ocorrem na fase de compilação; uma vez compilado com sucesso, a execução é 100% confiável e determinística (entropia zero).
• Segurança: 96,7% de precisão na detecção de injeção de prompt e 87,5% na análise de segurança de código estático, com zero falsos positivos.

Tarefa 2: Inteligência de Documentos (DocILE - 5.680 faturas)

• Desafio: Dados ruidosos, formatos heterogêneos e ambiguidade semântica.
• Abordagem Híbrida (Code Factory): Para tarefas semânticas complexas, o sistema compila chamadas de LLM focadas como artefatos de código, em vez de prompts ad-hoc.
• Resultados:
  • Precisão na extração de campos-chave (KILE): 80,0% (igual ao LLM direto).
  • Precisão no reconhecimento de itens de linha (LIR): 80,4% (superior ao LLM direto que teve 74,5%).
  • Latência: 2,3x menor que o LLM direto.
• Comparação: A extração puramente determinística (Regex) foi 4.915x mais rápida, mas falhou drasticamente em campos semânticos (KILE de 20,3%), demonstrando a necessidade da abordagem híbrida.

5. Significado e Conclusão

O artigo estabelece o Compiled AI como um ponto de design fundamental para automação de fluxos de trabalho em escala, especialmente em setores regulados como a saúde.

• Troca Estratégica: O paradigma troca a flexibilidade de tempo de execução por determinismo, eficiência de custos, auditabilidade total e redução da superfície de ataque.
• Viabilidade Econômica: À medida que os custos de inferência caem, o volume de transações cresce mais rápido. Arquiteturas que amortizam o custo de inferência no momento da compilação (custo fixo) e executam com custo marginal zero tornam-se economicamente superiores.
• Aplicabilidade: É ideal para fluxos de trabalho de alto volume, bem especificados e sensíveis a conformidade (ex: autorização prévia, faturamento, processamento de documentos clínicos). Para tarefas abertas e criativas, a inferência em tempo de execução ainda é necessária, sugerindo uma abordagem híbrida futura.

Em suma, o Compiled AI move o LLM da "execução" para o "desenvolvimento", permitindo que a infraestrutura de software tradicional (com suas ferramentas de teste, segurança e observabilidade) assuma o papel de execução, resolvendo os problemas de confiabilidade e custo que impedem a adoção massiva de agentes autônomos.