The Doctor Will (Still) See You Now: On the Structural Limits of Agentic AI in Healthcare

Resumo Técnico: Limites Estruturais da IA Agêntica na Saúde

1. O Problema

O artigo aborda a desconexão crítica entre o discurso comercial e a realidade operacional da Inteligência Artificial Agêntica (IA Agêntica) no setor de saúde.

• Discrepância Promessa vs. Realidade: Embora a indústria prometa sistemas autônomos capazes de planejar, raciocinar e agir independentemente (com investimentos bilionários e projeções de mercado massivas), na prática, esses sistemas operam sob supervisão humana quase total devido a restrições de segurança, regulamentação e responsabilidade civil.
• Ambiguidade Conceitual: Não há um consenso sobre o que constitui "agência" na saúde. A definição varia drasticamente entre desenvolvedores (que focam em planejamento e uso de ferramentas) e clínicos (que veem a agência como automação de fluxo de trabalho estritamente delimitada).
• Vazios de Responsabilidade (Accountability): A falta de definição clara e a superestimação das capacidades criam um "vácuo de responsabilidade". Quando os sistemas falham, não está claro quem é responsável: o desenvolvedor, o hospital, o médico ou o fornecedor, especialmente quando as capacidades de mercado superam a realidade operacional.
• Falhas na Avaliação: As métricas de avaliação atuais focam excessivamente em benchmarks técnicos (precisão em tarefas isoladas) e ignoram dimensões sociotécnicas cruciais, como integração no fluxo de trabalho, calibração de confiança, gestão de riscos e consistência temporal.

2. Metodologia

O estudo adota uma abordagem de Teoria Fundamentada (Grounded Theory) para investigar qualitativamente como a IA agêntica é definida, avaliada e constrangida na saúde.

• Coleta de Dados: Realização de 20 entrevistas semiestruturadas entre agosto e dezembro de 2025.
• Participantes: A amostra incluiu três grupos de partes interessadas (stakeholders):
  1. Desenvolvedores Técnicos: Cientistas de dados, engenheiros de ML e pesquisadores de IA.
  2. Implementadores Clínicos: Médicos-desenvolvedores, cientistas de dados clínicos e pesquisadores translacionais.
  3. Usuários Finais de Saúde: Médicos, enfermeiros e outros profissionais que interagem diretamente com as ferramentas.
• Análise: As transcrições (aproximadamente 173.000 palavras) foram codificadas iterativamente para identificar temas emergentes, resultando em 6 categorias principais e 67 códigos específicos. O foco foi entender as tensões entre aspirações técnicas, incentivos comerciais e restrições clínicas.

3. Contribuições Principais

O artigo identifica e analisa três tensões mutuamente reforçadoras que limitam a adoção efetiva da IA agêntica:

1. Fragmentação Conceitual: A ausência de uma definição compartilhada de "IA Agêntica" permite que diferentes atores projetem significados distintos, facilitando o "overclaiming" (exagero de capacidades) e obscurecendo a responsabilidade.
2. A Contradição da Autonomia: Existe uma contradição fundamental onde sistemas comercializados como "agênticos" e autônomos operam na realidade como assistentes com supervisão humana obrigatória ("human-in-the-loop"). A autonomia é limitada por restrições de segurança e liability, não apenas por limitações técnicas.
3. Ponto Cego na Avaliação: As métricas de avaliação predominantes priorizam a precisão técnica em ambientes controlados, falhando em medir fatores críticos para a segurança em cenários reais, como a tolerância a erros, a integração de fluxo de trabalho e a consistência ao longo do tempo.

4. Resultados e Achados Chave

A análise dos dados revelou os seguintes pontos cruciais:

• Crise Definicional:

  • Desenvolvedores definem agentes como sistemas com planejamento e decomposição de tarefas.
  • Clínicos definem agência como automação de passos concretos e previsíveis.
  • Muitos participantes rejeitam o termo "agêntico" para sistemas atuais, argumentando que a maioria das ferramentas de saúde ainda é de escopo único e não possui raciocínio integrado multi-etapa.

• A Paradoxo da Autonomia:

  • Nenhum sistema totalmente autônomo existe em ambientes clínicos de alto risco.
  • A supervisão humana é uma exigência estrutural, não apenas técnica. Médicos são legalmente responsáveis pelos resultados, independentemente de seguirem ou ignorarem a recomendação da IA ("double bind").
  • A transição de sistemas reativos para proativos sem supervisão humana é considerada inviável e perigosa.

• Limitações de Avaliação e Confiança:

  • Falta de Métricas Relevantes: Os participantes afirmam que "não sabemos quais métricas importam". Benchmarks estáticos (como exames de licenciamento médico) não capturam a complexidade da interação clínica real.
  • Alucinações e Instabilidade: A baixa tolerância a erros na saúde torna as alucinações e a inconsistência (ex: dar respostas diferentes para o mesmo paciente em momentos diferentes) inaceitáveis para a autonomia.
  • Confiança vs. Confiabilidade: A confiança é conservadora na medicina. Clínicos exigem determinismo e visibilidade na "cadeia de raciocínio" (explicabilidade), algo que modelos probabilísticos atuais muitas vezes não fornecem adequadamente.

• Restrições Operacionais e Casos de Uso Viáveis:

  • Onde Funciona: Tarefas de baixo risco, bem definidas e com supervisão humana, como documentação clínica (scribes), autorização prévia, faturamento e agendamento.
  • Onde Falha: Diagnóstico autônomo, raciocínio clínico complexo multi-etapa e intervenção em tempo real em cenários agudos.
  • Integração de Fluxo de Trabalho: Sistemas falham não por falta de capacidade técnica, mas por não conseguirem navegar na complexidade relacional e na fragmentação de dados entre diferentes sistemas de saúde (EHRs).

• Dimensão Temporal:

  • As avaliações atuais são estáticas e ignoram a variabilidade temporal. A saúde exige decisões em escalas de tempo diferentes (de segundos em triagem a anos em gestão de doenças crônicas), e os sistemas atuais não demonstram consistência temporal ou adaptação a novos dados ao longo do tempo.

5. Significância e Implicações

O estudo conclui que a IA agêntica na saúde funciona como um local de construção de significado contestado, onde aspirações técnicas, incentivos comerciais e restrições clínicas colidem.

• Para a Governança e Política: É necessário abandonar a governança baseada em "promessas" (futuras capacidades) e adotar uma governança baseada na realidade operacional. As estruturas de responsabilidade devem ser claras sobre o nível de autonomia real do sistema versus o que é marketing.
• Para o Design e Avaliação: Deve haver uma mudança de avaliação centrada na capacidade para avaliação centrada na implantação. Isso inclui:
  • Medir a confiabilidade em fluxos de trabalho reais, não apenas em benchmarks isolados.
  • Avaliar a consistência temporal e a gestão de riscos.
  • Distinguir entre "confiança" (psicológica) e "confiabilidade" (técnica/ética).
• Impacto na Segurança do Paciente: Sem alinhar as expectativas, definições e métricas de avaliação, o rótulo de "agêntico" continuará a prometer autonomia que não existe, deixando a responsabilidade ambígua quando ocorrem erros, o que pode comprometer a segurança do paciente e a adoção efetiva da tecnologia.

Em suma, o artigo argumenta que, para que a IA agêntica seja segura e útil na saúde, a comunidade deve focar em limites estruturais e de implantação em vez de aspirações de autonomia total, reconhecendo que, por enquanto, "o médico ainda verá você" (com a ajuda de ferramentas assistivas, mas não autônomas).