Resumo Técnico: Orquestração Human-on-the-Loop para Descoberta Jurídica Assistida por IA

Declaração do Problema

A implantação de agentes autônomos de Large Language Model (LLM) em descoberta eletrônica (e-discovery) introduz uma nova classe de falha denominada colapso de trajetória. Diferente de tarefas de recuperação de turno único, os fluxos de trabalho de agentes operam via loops multi-etapas de Raciocínio-Ação-Observação (ReAct), onde a saída de um agente no passo $t$ condiciona sua consulta no passo $t+1$. Neste contexto, uma única classificação incorreta precoce pode se propagar silenciosamente através da cadeia de raciocínio, tornando toda uma revisão de privilégio inválida no momento em que um log de privilégio é gerado.

Desafios de Avaliação de Risco Atuais:

• Erros Compostos: Erros não são isolados; eles se acumulam ao longo da trajetória, incorporando equívocos em centenas de decisões subsequentes.
• Armadilha da Fluência: LLMs otimizados por RLHF frequentemente geram justificativas fluentes e confiantes para classificações jurídicas incorretas, mascarando erros.
• Chamadas de Ferramentas Alucinadas: Agentes podem alucinar invocações de ferramentas em vez de abster-se quando uma tarefa é insolúvel.
• Limitações de Métricas: Métricas padrão (Precisão, Recall, F1) medem o desempenho apenas nos endpoints da trajetória, falhando em penalizar falhas que ocorrem ao longo da trajetória ou a "Armadilha da Fluência".

Metodologia: Arquitetura de Verificação de Quatro Camadas

O artigo propõe um framework de orquestração Human-on-the-Loop (HOTL) projetado para interceptar falhas em estágios funcionais específicos antes que elas se acumulem. A arquitetura consiste em quatro camadas de verificação:

1. Validação de Planejamento

Antes da execução, um classificador leve ($f_{plan}$) verifica se a intenção decomposta é satisfatível dado o conjunto de ferramentas disponível ($T$).

• Mecanismo: Um classificador DeBERTa-v3 ajustado estima a probabilidade de resolubilidade $P(S | q, T)$.
• Ação: Se $P(S | q, T) \geq \tau_{plan}$ (definido como 0,70 no piloto), a consulta é executada; caso contrário, ela escala para um advogado humano.
• Objetivo: Prevenir erros de "Derivação de Fatos" (jurisprudência fabricada) e erros de "Decomposição de Tarefa" (submetas que violam as Regras Federais de Processo Civil).

2. Checkpoints de Raciocínio Passo a Passo

Em cada etapa de raciocínio $t$, o sistema calcula um escore de atribuição ($A_t$) que mede o progresso esperado em direção ao objetivo terminal.

• Mecanismo: $A_t = E_{\pi}[R(\tau) | s_t, a_t] - V(s_t)$, onde $V(s_t)$ é aproximado via rollouts de Monte Carlo.
• Ação: Se $A_t < \epsilon$ (limiar de progresso mínimo, definido como 0,05), o traço de raciocínio é descartado e o agente realiza uma nova amostragem a partir do estado atual.
• Objetivo: Prevenir a "Armadilha do Raciocínio", onde a racionalização sobrepõe-se ao embasamento factual.

3. Sandboxing de Execução

Antes de comprometer ações de escrita (ex: marcar documentos como privilegiados ou roteá-los para bancos de dados de produção), as ações são executadas em um ambiente de teste (dry-run).

• Mecanismo: Um motor de política de lista de bloqueio (deny-list) verifica a conformidade com as restrições da FRCP (ex: impedir que tags de "Apenas para Olhos do Advogado" alcancem não-conselheiros).
• Ação: Se a ação for não conforme, ela é bloqueada e o sistema aciona a escalação HOTL. Para chamadas de API irreversíveis, um padrão de transação compensatória emite uma reversão se a verificação do sandbox falhar pós-execução.
• Objetivo: Mitigar falhas de execução de "Ferramenta Ausente" e da "Armadilha da Fluência".

4. Escalação Baseada em Incerteza

O sistema decompõe a incerteza preditiva total em componentes aleatórios (ruído de dados) e epistêmicos (conhecimento do modelo).

• Mecanismo: Como os pesos do modelo são inacessíveis, a incerteza epistêmica ($U_{ep}$) é estimada via variância de autoconsistência. O agente gera $k=10$ racionalizações de classificação independentes por documento; $U_{ep}$ é a entropia da distribuição de rótulos resultante.
• Ação: Se $U_{ep} > \tau_{esc}$, o sistema suspende a ação autônoma e apresenta o estado da trajetória a um advogado humano.
• Objetivo: Escalar apenas quando o modelo carece de informações suficientes para classificar de forma confiável.

Principais Contribuições

1. Taxonomia de Falhas Agênticas: Uma classificação estruturada de falhas em recuperação de informação jurídica organizada por estágio funcional (Planejamento, Recuperação, Raciocínio, Execução), vinculando modos de falha específicos (ex: "Desalinhamento de Sumarização") a consequências regulatórias sob a FRCP.
2. Arquitetura de Verificação de Quatro Camadas: Um design de sistema inovador que integra validadores de planejamento, checkpoints de raciocínio passo a passo, sandboxes de execução e escalação baseada em incerteza para interceptar o colapso de trajetória.
3. Estudo de Simulação Preliminar: Uma demonstração em um corpus sintético de 5.000 documentos mostrando que limiares de escalação HOTL calibrados reduzem significativamente o risco de renúncia de privilégio em comparação com baselines totalmente autônomos.

Resultados Experimentais

O estudo comparou três condições em um corpus sintético: Autônomo (A), Threshold-HOTL (T-HOTL) com variados limiares ($\tau \in \{0.3, 0.5, 0.7\}$), e Manual (M).

• Risco de Renúncia de Privilégio (PWR): O T-HOTL com $\tau=0.5$ reduziu o PWR de 8,3% (Autônomo) para 3,2%, representando uma redução de risco de 61%.
• Eficiência: Com $\tau=0.5$, apenas 23,7% dos documentos foram roteados para revisão por advogados, comparado a 100% para revisão manual. Isso sugere uma redução estimada de 76% nas horas de advogado mantendo níveis de risco comparáveis.
• Recuperação de Erro: A Taxa de Recuperação de Rollback (RRR) foi de média 0,71, indicando que os checkpoints de raciocínio interceptaram e recuperaram com sucesso a maioria das trajetórias sem exigir escalação humana.
• Origem do Erro: A Posição do Primeiro Erro (FEP) média para a condição Autônoma foi de 3,2 passos (de uma trajetória média de 7,8 passos), confirmando que os erros tendem a originar-se cedo e se acumular.
• Latência: O processamento de ponta a ponta teve média de 14,2 segundos por documento com requisições em lote paralelizadas; a execução sequencial exigiria 290–340 segundos.

Significância e Alegações

O artigo argumenta que a transição para a descoberta jurídica agêntica exige que a integridade da trajetória seja estabelecida como um objetivo de design de primeira classe. Métricas de endpoint convencionais são insuficientes para capturar falhas cumulativas. Os autores alegam que:

• A escalação HOTL calibrada é um pré-requisito para implantar sistemas de IR agênticos de nível de produção no domínio jurídico.
• É possível reduzir significativamente o risco de renúncia de privilégio (até 61%) enquanto se roteia menos de um quarto dos documentos para revisão humana.
• A arquitetura proposta fornece um mecanismo para satisfazer os requisitos de auditabilidade da FRCP ao registrar hashes de procedência determinísticos para cada unidade de interação.

Limitações e Trabalho Futuro

Os autores explicitamente observam que os resultados são preliminares e limitados pela natureza sintética do corpus, que pode não capturar a complexidade distributiva de dados de produção (ex: jargão de domínio, anexos codificados).

• Verdade Fundamental (Ground Truth): Os rótulos carecem de acordo formal entre anotadores; trabalhos futuros relatarão o $\kappa$ de Cohen.
• Ablação: O estudo não realizou ablação de camadas individuais; trabalhos futuros com parceiros de escritórios de advocacia isolarão a contribuição de cada camada.
• Governança de Dados: A implantação de produção do GPT-4o para documentos privilegiados requer inferência on-premises ou de zero-egress.
• Validação: Trabalhos futuros validarão o sistema em corpora de descoberta reais e explorarão garantias formais usando backbones como TAPE e KAIJU.