Resumo Técnico: Um Framework OODA Agêntico para Suporte à Decisão Clínica de Ponta a Ponta e Transparente

Declaração do Problema

A implementação da Inteligência Artificial (IA), particularmente dos Grandes Modelos de Linguagem (LLMs), na área da saúde enfrenta barreiras significativas relacionadas à confiabilidade, usabilidade e confiança. Uma preocupação primária é a variabilidade inerente dos LLMs; mesmo com entradas idênticas, execuções diferentes podem produzir saídas divergentes. Essa natureza estocástica torna os LLMs padrão inadequados para aplicações clínicas de segurança crítica, onde a reprodutibilidade e a auditabilidade são primordiais. Embora sistemas multiagentes ofereçam um caminho para decompor tarefas complexas, os pipelines agênticos existentes muitas vezes carecem de um framework de decisão estruturado e padronizado que garanta transparência e comportamento consistente em ambientes clínicos. Além disso, estratégias de mitigação anteriores, como a supervisão humana no ciclo (human-in-the-loop), carecem de uma estrutura explícita e adaptável para o suporte à decisão de ponta a ponta.

Metodologia

Os autores propõem o Framework OODA Agêntico, uma arquitetura multiagente que implementa o paradigma de tomada de decisão Observe–Orient–Decide–Act (Observar–Orientar–Decidir–Agir) para estruturar o raciocínio clínico. O framework foi projetado para ser modular, persistente (stateful) e transparente, utilizando o CrewAI para orquestração e o GPT-4.1 Mini como o LLM subjacente para o raciocínio dos agentes.

O framework opera através de quatro estágios distintos, suportados por agentes específicos e loops de validação:

1. Observar (Entrada de Dados):

   • Registros de pacientes são extraídos de um arquivo CSV.
   • Os dados são pré-processados (ex: codificação de rótulos, conversão binária do status de tabagismo, descarte de colunas irrelevantes) para atender aos requisitos do modelo de classificação.

2. Orientar (Interpretação Contextual):

   • Classificação e XAI: Um modelo CatBoost pré-treinado prevê o risco de AVC (escala 0–3) e gera valores SHAP para explicar as contribuições das características.
   • Normalização e Codificação: Os dados são normalizados (StandardScaler) e codificados via one-hot encoding para facilitar os cálculos de similaridade de cosseno.
   • Comparação de Cosseno: Os dados do paciente atual são comparados contra uma "tabela mestre" de 3.928 registros históricos de pacientes para identificar os 5 pacientes mais similares. A similaridade é calculada utilizando tanto as características clínicas brutas quanto os valores SHAP para garantir que tanto a similaridade de biomarcadores quanto a de contribuição de características sejam consideradas.
   • Desnormalização e Decodificação: Os dados dos pacientes similares são convertidos de volta para formatos legíveis por humanos para o LLM.

3. Decidir (Formação de Decisão e Validação):

   • Agente Analista de Dados (D1): Analisa os dados brutos e os valores SHAP para gerar um resumo da condição e uma tabela de referência.
   • Tarefa de Decisão 1 (D3a): O Agente de Decisão formula uma avaliação inicial. Ele prioriza avaliações derivadas de pacientes similares (identificados por ID de Paciente), mas recorre a diretrizes científicas de tratamento caso não existam casos similares relevantes.
   • Sistema de Pontuação (D3b): Uma verificação de auticonsistência crítica. O sistema incorpora sentenças da avaliação gerada e as compara com o material de origem (registros de pacientes similares ou diretrizes) usando o modelo all-MiniLM-L6-v2 do HuggingFace. Se a similaridade de cosseno cair abaixo de um limite definido pelo clínico (0,72), o sistema retorna ao loop da Tarefa de Decisão 1 para regenerar a resposta. Este loop se repete até 5 vezes. Se falhar após 5 tentativas, o sistema prossegue sem o feedback de pacientes similares.
   • Loop de Feedback Humano (D4b): Um clínico revisa a avaliação. Usando LangChain, o sistema categoriza o feedback como "Concordo", "Discordo" ou "Questionamento".
     • Se "Questionamento", um Agente de Questões (D4c) responde à dúvida utilizando o contexto completo do caso e das diretrizes.
     • Se "Discordo" ou "Sobrescrita" (Override), o sistema move-se para a Tarefa de Decisão 2 (D4a).
   • Tarefa de Decisão 2 (D4a): O agente revisa a decisão com base no feedback do clínico. Se uma flag de "sobrescrita" for definida, a instrução do clínico tem prioridade absoluta; caso contrário, o feedback é ponderado contra as diretrizes.

4. Agir (Execução e Relatórios):

   • Agente Processador de Avaliação (A1): Converte a decisão final verificada em tópicos e resume o histórico de decisão-feedback para fins de transparência.
   • Módulo de Geração de Relatório (A2): Compila um relatório HTML estruturado contendo dados do paciente, escores de risco, perfis de pacientes similares, a avaliação final e um rastro de auditoria completo do diálogo IA-clínico.

Principais Contribuições

• Arquitetura Agêntica Estruturada: O artigo introduz a primeira aplicação de um framework baseado em OODA especificamente para suporte à decisão clínica, indo além do prompting de disparo único de LLMs para um processo em estágios e iterativo.
• Confiabilidade Aprimorada via Autoconsistência: Ao integrar uma verificação de autoconsistência baseada em similaridade (Sistema de Pontuação) e estados de execução persistentes, o framework reduz significativamente a variabilidade de saída em comparação com LLMs padrão.
• Integração de Human-in-the-Loop: O framework desenha explicitamente o clínico como a autoridade máxima, apresentando um mecanismo robusto de feedback que permite questionar, revisar e sobrescrever decisões geradas pela IA.
• Rastreabilidade e Auditabilidade: Cada etapa, desde a ingestão de dados até o relatório final, gera artefatos inspecionáveis (valores SHAP, escores de similaridade, logs de decisão), permitindo a localização de erros e total transparência do caminho da decisão.

Resultados

O framework foi avaliado utilizando um conjunto de dados de 4.798 registros de AVC (dividido em 434 registros de entrada e 3.928 registros mestres). O sistema foi testado em 30 pacientes, com cada caso de paciente sendo processado 5 vezes para medir a consistência.

• Consistência: O Framework OODA Agêntico alcançou uma similaridade de cosseno média de 0,9536 entre as execuções repetidas, com a menor similaridade par de 0,8639.
• Comparação: Este desempenho superou significativamente um conjunto de LLMs de propósito geral (incluindo GPT-5.1, GPT-5.2, Claude Sonnet 4.5, Llama 4 Maverick, entre outros). Por exemplo, o melhor modelo de base, Claude Sonnet 4.5, alcançou uma similaridade média de 0,8972. Notavelmente, modelos de base específicos exibiram uma concordância de pior caso substancialmente inferior em comparações par a par, com o GPT-5.1 apresentando uma similaridade par de -0,1128 e o DeepSeek V3.2 com -0,1071, indicando uma divergência semântica significativa em comparações específicas de execução para execução.
• Métricas de Desempenho: A latência média de ponta a ponta para uma execução bem-sucedida foi de aproximadamente 40,9 segundos. Etapas não agênticas (ex: normalização) foram quase instantâneas (<0,01s), enquanto etapas de raciocínio agêntico (ex: Análise de Dados) levaram mais tempo (~21s).
• Qualidade da Saída: Os relatórios finais forneceram um rastro de auditoria claro, incluindo o "Resumo de Feedback e Revisão", permitindo que os clínicos rastreassem como a decisão final evoluiu das propostas iniciais da IA.

Significância e Alegações

Os autores alegam que o Framework OODA Agêntico oferece uma solução generalizável para a aplicação de agentes de IA em ambientes de saúde onde alta consistência e transparência são necessárias. O estudo demonstra que a confiabilidade não é meramente uma característica do modelo de fundação, mas da arquitetura de decisão. Ao restringir o processo de raciocínio através de agentes modulares, representações intermediárias estruturadas e loops de feedback explícitos, o framework mitiga a variabilidade estocástica inerente dos LLMs.

O artigo postula que esta abordagem equilibra eficiência computacional com responsabilidade, tornando-a um caminho viável para a integração de suporte à decisão assistido por IA em ambientes de segurança crítica. O framework garante que a IA atue como uma ferramenta de suporte que aumenta a supervisão clínica em vez de substituí-la, preservando assim a confiança do paciente e a segurança clínica. Os autores observam que, embora o sistema tenha sido testado em um ambiente controlado de laboratório, seu design modular sugere aplicabilidade a outros domínios clínicos além do AVC.