Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

Resumo Técnico: Decisões Determinísticas para IA de Alto Impacto

Problema: Viés de Intervenção e a Lacuna de Avaliação
O artigo identifica um modo de falha crítico em agentes de Large Language Models (LLMs) zero-shot implantados para aconselhamento educacional de alto impacto: o viés de intervenção. Sem treinamento específico para a tarefa, esses agentes recomendam sistematicamente a ação (ex: monitoramento, lembretes) quando uma política "oráculo" definida por pesquisadores exige a não ação. Em um estudo utilizando o Open University Learning Analytics Dataset (OULAD), o GPT-4o zero-shot recomendou intervenção para 73% dos alunos no dia 56, enquanto a política oráculo designou 70,1% como não requerendo ação. Isso resulta em uma taxa de falsos positivos de 43 pontos percentuais, gerando milhares de contatos desnecessários de orientadores em grandes instituições, erodindo a credibilidade do sistema e causando fadiga de alertas.

Além disso, o artigo identifica uma Lacuna de Avaliação (Evaluation Gap): frameworks padrão de LLM-como-juiz (ex: DeepEval G-Eval) são estruturalmente cegos para este viés. Esses frameworks recompensam fluência, coerência e elaboração — traços exibidos por sistemas que prescrevem excessivamente — enquanto falham em penalizar a qualidade da decisão incorreta. Consequentemente, sistemas com a pior precisão de resultados podem receber as pontuações de avaliação mais altas, criando um descompasso perigoso entre o desempenho percebido e o real em tarefas de aconselhamento sequencial.

Metodologia: O Pipeline EAV-DT e a Ablação de Seis Braços
Para enfrentar esses problemas, os autores propõem e validam uma arquitetura de dois estágios que desacopla a ingestão de dados não estruturados da tomada de decisão determinística:

1. Estágio 1 (Ingestão): Os dados são normalizados em um vetor de estado Entidade-Atributo-Valor (EAV) de dimensão fixa e tipada. Neste estudo, o Estágio 1 é realizado via um mapeamento determinístico de campos CSV estruturados do OULAD para um vetor de 12 dimensões para isolar a lógica de decisão do ruído de extração.
2. Estágio 2 (Decisão): Um Decision Transformer (DT) opera sobre o vetor de estado EAV. O DT é um modelo pequeno (624k parâmetros), treinado offline, que mapeia o estado e um escalar "Return-to-Go" (RTG) para uma ação de intervenção via um argmax determinístico sobre os logits de saída.

O estudo utiliza um design de ablação de seis braços em 800 alunos através de quatro cortes temporais (dias 14, 28, 56, 112):

• Braços A & B: RAG Comercial (Vetor) e RAG aumentado por SQL utilizando GPT-4o.
• Braço C: Vetor de estado EAV apresentado diretamente ao GPT-4o para tomada de decisão.
• Braços D & E: Vetor de estado EAV processado pelo ONNX Decision Transformer (o Braço E usa um LLM local nativo de CPU apenas para geração narrativa).
• Braço F: Um classificador XGBoost supervisionado treinado nos mesmos rótulos do oráculo, servindo como uma linha de base de ML tabular.

Principais Contribuições e Resultados

1. Quantificação do Viés de Intervenção:
   Os braços de LLM zero-shot (A, B, C) exibem uma prescrição excessiva sistemática. No dia 56, o Braço C (GPT-4o + EAV) prescreveu excessivamente em 43,6 pontos percentuais em comparação ao oráculo. Em uma instituição de 10.000 alunos, isso equivale a ~4.300 contatos desnecessários por ciclo. Em contraste, os braços supervisionados (D, E, F) alcançaram erro de calibração próximo de zero, eliminando com sucesso o viés de intervenção.

2. Aprendizado de Política Supervisionada Elimina o Viés:
   Tanto o Decision Transformer condicionado à trajetória (Braços D/E) quanto o classificador de snapshot XGBoost (Braço F) alcançaram alta Fidelidade de Política do Especialista (EPF).

   • Braço D/E (Corrigido v3): Alcançou 99,8% de EPF no dia 14 e 95,4% no dia 112, com um macro-F1 de 79% e um macro-recall de 85% através de todas as cinco classes de ação (incluindo classes raras como reduce_load).
   • Braço F (XGBoost): Alcançou 99,8% no dia 14, mas degradou para 89,9% até o dia 112, sugerindo que o condicionamento de trajetória do DT oferece uma vantagem arquitetônica para dados sequenciais de longo prazo.
   • Comparação: O DT superou significativamente os braços de LLM zero-shot (47–67% de EPF) e a linha de base da classe majoritária na maioria dos cortes.

3. Determinismo e Auditabilidade:
   Os braços D e E alcançaram uma taxa de inversão de ação (action flip rate) de 0% devido à garantia matemática do determinismo do argmax do ONNX. Por outro lado, os braços de LLM exibiram taxas de inversão não nulas (Braço A: 2,9%, Braço B: 0,8%, Braço C: 0,2%), tornando trilhas de auditoria pouco confiáveis em ambientes regulados.

4. Soberania de Hardware e Latência:
   A arquitetura permite inferência zero-egress, nativa de CPU.

   • Latência: A etapa de decisão do DT ONNX executa em <5 ms em uma CPU comum, representando uma aceleração de 454,8× sobre as decisões de LLM zero-shot (Braço C) e uma aceleração de 2.500× sobre pipelines SQL-RAG (Braço B).
   • Custo: O Braço E (Granite 4.0 Small local) incorreu em $0,00 de custo de API e zero egress de dados, satisfazendo requisitos FERPA/GDPR, enquanto igualou a fidelidade de decisão do Braço D baseado em nuvem.
   • Retreinamento: O DT pode ser retreinado com novos dados de resultado em menos de 4 minutos em uma única CPU, permitindo a troca rápida de políticas sem dependência de GPU.

5. A Lacuna de Avaliação:
   O estudo confirma que os rankings do DeepEval G-Eval são ortogonais à precisão validada por resultados. O DeepEval classificou o braço SQL-RAG (B) acima do braço de vetor RAG (A), apesar de o Braço B ter uma precisão de decisão significativamente pior (47,5% vs. 65,4% no dia 14). Isso demonstra que a avaliação baseada em fluência é um proxy não confiável para a qualidade da decisão em intervenções sequenciais de alto impacto.

Significância e Escopo
O artigo afirma demonstrar que o implante de LLM zero-shot é estruturalmente descalibrado para tarefas de aconselhamento conservadoras e de alto impacto, onde "não fazer nada" é uma ação válida e necessária. A principal contribuição é a validação empírica de que o aprendizado de política supervisionada (via DT ou XGBoost) elimina confiavelmente este viés.

Os autores propõem o pipeline EAV-DT como um "flywheel vivo": um sistema onde dados não estruturados são normalizados em um estado tipado (EAV), compilados em um modelo de decisão determinístico de sub-5ms (DT) e retreinados offline em minutos. Esta arquitetura substitui a latência e a estocasticidade do Agentic RAG por um motor de decisão soberano, auditável e de custo zero.

Modéstia e Limitações
Os autores declaram explicitamente que este estudo valida apenas o Estágio 2 (qualidade de decisão sobre entrada EAV controlada e estruturada).

• Não há Alegação de Fim-a-Fim Não Estruturado: O estudo não afirma que o pipeline completo funciona com dados brutos não estruturados; o ruído de extração do Estágio 1 (alucinações, deriva de esquema) é adiado para trabalhos futuros.
• Oráculo como Proxy: A alta fidelidade (93–99%) reflete o alinhamento com uma regra de retrospectiva definida por pesquisadores, não necessariamente uma generalização sobre-humana para conselheiros humanos reais ou entradas ruidosas do mundo real.
• Lacuna de Avaliação: A descoberta de que frameworks de avaliação LLM-como-juiz falham em detectar o viés de intervenção é apresentada como uma falha de domínio específica para intervenções sequenciais, não como uma crítica geral aos juízes de LLM para todas as tarefas.

Em resumo, o artigo argumenta que, para a tomada de decisão sequencial de alto impacto, o "substituto do RAG" não é um prompt melhor ou um modelo maior, mas uma arquitetura desacoplada que separa o aprendizado de política determinística da geração narrativa, garantindo calibração, auditabilidade e soberania.