IyàwóBench: A Benchmark for Evaluating Large Language Model Clinical Triage Accuracy on Undifferentiated Febrile Illness in Nigerian Primary Health Settings

Resumen Técnico: IyàwóBench

Enunciado del Problema
La enfermedad febril indiferenciada es la principal causa de consultas ambulatorias de atención primaria en Nigeria, presentando un desafío diagnóstico significativo debido a la superposición de síntomas tempranos de afecciones que van desde la malaria no complicada hasta la meningitis bacteriana y la sepsis potencialmente mortales. En los Centros de Salud Primaria (PHC) de Nigeria, donde los Trabajadores de Extensión de Salud Comunitaria (CHEW) a menudo gestionan grandes volúmenes de pacientes con recursos limitados, la falta de herramientas de apoyo a la decisión clínica conduce a clasificaciones peligrosas, resultando tanto en la subreferencia de casos críticos como en la sobrereferencia innecesaria. Aunque los Modelos de Lenguaje Grande (LLM) muestran promesa para el apoyo escalable a la decisión clínica, las evaluaciones de referencia existentes (por ejemplo, MedQA, PubMedQA) se derivan de contextos de países de altos ingresos o exámenes de licencia estandarizados. Estos no reflejan la prevalencia específica de enfermedades, las limitaciones de infraestructura o las directrices regionales (como el IMCI de la OMS y las Directrices Estándar de Tratamiento de Nigeria) relevantes para la atención primaria en África Occidental. En consecuencia, no existe un marco validado para evaluar el razonamiento de triaje de los LLM en este contexto específico.

Metodología
Los autores presentan IyàwóBench v1.0, un conjunto de datos de referencia que comprende 200 viñetas clínicas sintéticas diseñadas para evaluar la precisión del triaje de LLM en enfermedades febriles indiferenciadas en los PHC de Nigeria.

• Generación de Datos: Las viñetas se generaron programáticamente utilizando distribuciones estadísticas derivadas de 1.200 encuentros reales con pacientes recopilados en 19 PHC del estado de Oyo, Nigeria, entre el 14 y el 28 de abril de 2026. No se utilizaron datos de pacientes individuales; el conjunto de datos es completamente sintético.
• Estructura de la Viñeta: Cada viñeta incluye campos estructurados que reflejan la interfaz de la plataforma Iyawo (edad, signos vitales, síntomas, resultados de la RDT de malaria, etc.) y notas clínicas de texto libre.
• Verdad Terrena: Los niveles de triaje esperados se asignaron basándose en el IMCI de la OMS 2014, las Directrices de Malaria de la OMS 2025, la Campaña de Supervivencia a la Sepsis 2021 y las Directrices Estándar de Tratamiento de Nigeria. Las tres clases objetivo son: DERIVAR AHORA (urgencia), DERIVAR HOY (no urgencia) y TRATAR AQUÍ (tratar localmente).
• Modelos Evaluados: Se probaron seis LLM: Claude Sonnet (claude-sonnet-4-5), Llama 4 Scout (17B), Llama 3.3 (70B), Llama 3.1 (8B), Qwen 3 (32B) y GPT OSS (20B).
• Protocolo de Evaluación: Los modelos recibieron prompts idénticos que requerían un formato de salida estructurado específico (token de triaje, diagnóstico, razonamiento). El rendimiento se midió mediante dos métricas:
  1. Precisión de Triaje: La proporción de viñetas donde el nivel de triaje predicho coincidió exactamente con el nivel esperado.
  2. Puntuación de Seguridad: La proporción de casos DERIVAR AHORA donde el modelo no degradó incorrectamente al paciente a TRATAR AQUÍ.
• Análisis Estadístico: Las diferencias de precisión se evaluaron utilizando la prueba de McNemar para proporciones apareadas.

Resultados Clave

• Seguridad: Los seis modelos alcanzaron una puntuación de seguridad del 100% (IC 95%: 96,4–100,0%). Ningún modelo degradó un caso crítico de DERIVAR AHORA a TRATAR AQUÍ, independientemente del tamaño o la arquitectura del modelo.
• Precisión de Triaje: Se observó una variación significativa entre los modelos que analizaron correctamente la salida estructurada:
  • Claude Sonnet: 67,5% de precisión (135/200).
  • Llama 4 Scout: 59,5% de precisión (119/200).
  • Llama 3.3 70B: 43,0% de precisión (86/200).
  • Llama 3.1 8B: 39,0% de precisión (78/200).
  • Qwen 3 32B y GPT OSS 20B: Precisión cercana a cero (1,0% y 0,5%, respectivamente) debido al incumplimiento de la salida estructurada. Estos modelos generaron razonamiento clínico detallado pero no incluyeron los tokens de triaje requeridos en un formato analizable.
• Brechas de Rendimiento: La diferencia entre el modelo analizable de mejor rendimiento (Claude Sonnet) y el de menor rendimiento (Llama 3.1 8B) fue de 28,5 puntos porcentuales. Dentro de la familia Llama, la precisión generalmente se correlacionó con la cantidad de parámetros, aunque el modelo de 70B tuvo un rendimiento inferior al modelo especializado de Claude en 24,5 puntos.

Significado y Afirmaciones
El artículo posiciona a IyàwóBench como el primer marco de evaluación reproducible para el apoyo a la decisión clínica de LLM específicamente adaptado a la atención primaria en África Occidental. Los autores afirman tres contribuciones principales:

1. Validación de la Seguridad: La puntuación de seguridad universal del 100% sugiere que los LLM modernos, incluso sin un ajuste fino específico para Países de Ingresos Bajos y Medios (PIBM), codifican robustamente señales de gravedad clínica suficientes para evitar el error de triaje más peligroso (pasar por alto una urgencia).
2. Variación de Precisión: La brecha sustancial en la precisión (de hasta 28,5 puntos) entre los modelos destaca que la cantidad de parámetros por sí sola no garantiza el rendimiento clínico. Los autores sugieren que los sistemas diseñados clínicamente con directrices integradas (como la utilizada para la verdad terrena) superan a los modelos de propósito general, lo que implica que el ajuste fino específico del dominio (por ejemplo, mediante LoRA) es necesario para la implementación en entornos con recursos limitados.
3. Salida Estructurada como Cuello de Botella: La precisión cercana a cero de dos modelos grandes debido a fallos de formato subraya que, para el apoyo a la decisión clínica, la capacidad de generar salidas estructuradas y legibles por máquina es tan crítica como la capacidad de razonamiento clínico.

Los autores señalan explícitamente limitaciones, incluido el uso de un solo autor para el etiquetado de la verdad terrena sin validación independiente de un médico, el enfoque en la clasificación de triaje en lugar de la precisión diagnóstica o de tratamiento, y el uso de datos sintéticos derivados de un solo estado (Oyo), lo cual podría no generalizarse a todos los contextos nigerianos. Concluyen que IyàwóBench establece una línea base para evaluar rigurosamente los modelos ajustados y adaptados al dominio en la atención primaria de los PIBM.