IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings

Resumo Técnico: IyàwóBench

Declaração do Problema
A doença febril indiferenciada é a principal causa de consultas ambulatoriais de atenção primária na Nigéria, apresentando um desafio diagnóstico significativo devido à sobreposição de sintomas iniciais de condições que vão desde malária não complicada até meningite bacteriana e sepse ameaçadoras à vida. Nos Centros de Saúde Primária (PHCs) nigerianos, onde os Trabalhadores de Extensão de Saúde Comunitária (CHEWs) frequentemente gerenciam grandes volumes de pacientes com recursos limitados, a falta de ferramentas de apoio à decisão clínica leva a classificações perigosas, resultando tanto em subencaminhamento de casos críticos quanto em superencaminhamento desnecessário. Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa para apoio escalável à decisão clínica, as atuais bases de avaliação (por exemplo, MedQA, PubMedQA) são derivadas de contextos de países de alta renda ou exames padronizados de licenciamento. Estas não refletem a prevalência específica de doenças, as restrições de infraestrutura ou as diretrizes regionais (como o IMCI da OMS e as Diretrizes Padrão de Tratamento Nigerianas) relevantes para a atenção primária na África Ocidental. Consequentemente, não há um framework validado para avaliar o raciocínio de triagem de LLMs neste contexto específico.

Metodologia
Os autores apresentam o IyàwóBench v1.0, uma base de dados de referência composta por 200 casos clínicos sintéticos projetados para avaliar a precisão de triagem de LLMs em doenças febris indiferenciadas em PHCs nigerianos.

• Geração de Dados: Os casos foram gerados programaticamente usando distribuições estatísticas derivadas de 1.200 atendimentos reais de pacientes coletados em 19 PHCs no Estado de Oyo, Nigéria, entre 14 e 28 de abril de 2026. Nenhum dado de paciente individual foi utilizado; o conjunto de dados é inteiramente sintético.
• Estrutura dos Casos: Cada caso inclui campos estruturados que espelham a interface da plataforma Iyawo (idade, sinais vitais, sintomas, resultados de RDT para malária, etc.) e notas clínicas em texto livre.
• Verdade Terrena: Os níveis de triagem esperados foram atribuídos com base no IMCI da OMS 2014, nas Diretrizes de Malária da OMS 2025, na Campanha de Sobrevivência à Sepse 2021 e nas Diretrizes Padrão de Tratamento Nigerianas. As três classes-alvo são: ENCAMINHAR AGORA (emergência), ENCAMINHAR HOJE (não emergência) e TRATAR AQUI (tratar localmente).
• Modelos Avaliados: Seis LLMs foram testados: Claude Sonnet (claude-sonnet-4-5), Llama 4 Scout (17B), Llama 3.3 (70B), Llama 3.1 (8B), Qwen 3 (32B) e GPT OSS (20B).
• Protocolo de Avaliação: Os modelos receberam prompts idênticos exigindo um formato de saída estruturada específico (token de triagem, diagnóstico, raciocínio). O desempenho foi medido por duas métricas:
  1. Precisão de Triagem: A proporção de casos onde o nível de triagem previsto correspondeu exatamente ao nível esperado.
  2. Pontuação de Segurança: A proporção de casos ENCAMINHAR AGORA onde o modelo não rebaixou incorretamente o paciente para TRATAR AQUI.
• Análise Estatística: As diferenças de precisão foram avaliadas usando o teste de McNemar para proporções pareadas.

Principais Resultados

• Segurança: Todos os seis modelos alcançaram uma pontuação de segurança de 100% (IC 95%: 96,4–100,0%). Nenhum modelo rebaixou um caso crítico de ENCAMINHAR AGORA para TRATAR AQUI, independentemente do tamanho ou arquitetura do modelo.
• Precisão de Triagem: Variância significativa foi observada entre os modelos que analisaram com sucesso a saída estruturada:
  • Claude Sonnet: 67,5% de precisão (135/200).
  • Llama 4 Scout: 59,5% de precisão (119/200).
  • Llama 3.3 70B: 43,0% de precisão (86/200).
  • Llama 3.1 8B: 39,0% de precisão (78/200).
  • Qwen 3 32B e GPT OSS 20B: Precisão próxima de zero (1,0% e 0,5%, respectivamente) devido ao descumprimento da saída estruturada. Estes modelos geraram raciocínio clínico detalhado, mas falharam em incluir os tokens de triagem exigidos em um formato analisável.
• Lacunas de Desempenho: A diferença entre o modelo analisável de melhor desempenho (Claude Sonnet) e o de pior desempenho (Llama 3.1 8B) foi de 28,5 pontos percentuais. Dentro da família Llama, a precisão geralmente correlacionou-se com a contagem de parâmetros, embora o modelo de 70B tenha tido desempenho inferior ao modelo Claude especializado em 24,5 pontos.

Significado e Afirmações
O artigo posiciona o IyàwóBench como o primeiro framework de avaliação reprodutível para apoio à decisão clínica de LLMs especificamente adaptado à atenção primária na África Ocidental. Os autores afirmam três contribuições principais:

1. Validação da Segurança: A pontuação de segurança universal de 100% sugere que LLMs modernos, mesmo sem ajuste fino específico para Países de Baixa e Média Renda (LMIC), codificam robustamente sinais de gravidade clínica suficientes para evitar o erro de triagem mais perigoso (perder uma emergência).
2. Variância de Precisão: A lacuna substancial de precisão (até 28,5 pontos) entre os modelos destaca que a contagem de parâmetros, por si só, não garante desempenho clínico. Os autores sugerem que sistemas projetados clinicamente com diretrizes embutidas (como a usada para a verdade terrena) superam modelos de propósito geral, implicando que o ajuste fino específico de domínio (por exemplo, via LoRA) é necessário para implantação em ambientes com recursos limitados.
3. Saída Estruturada como Gargalo: A precisão próxima de zero de dois modelos grandes devido a falhas de formatação sublinha que, para o apoio à decisão clínica, a capacidade de gerar saídas estruturadas e legíveis por máquina é tão crítica quanto a capacidade de raciocínio clínico.

Os autores observam explicitamente limitações, incluindo o uso de um único autor para a rotulagem da verdade terrena sem validação independente por médicos, o foco na classificação de triagem em vez de precisão diagnóstica ou de tratamento, e o uso de dados sintéticos derivados de um único estado (Oyo), o que pode não generalizar para todos os contextos nigerianos. Eles concluem que o IyàwóBench estabelece uma linha de base para avaliar rigorosamente modelos ajustados e adaptados a domínios na atenção primária de LMICs.