Can Zero-Shot LLMs Predict Child Malnutrition? A Fairness and Temporal Robustness Study

Resumen Técnico: LLMs de Zero-Shot para la Predicción de la Desnutrición Infantil

Planteamiento del Problema
La desnutrición infantil, particularmente la desnutrición crónica (stunting), sigue siendo un desafío crítico de salud pública en países de ingresos bajos y medios, siendo el sur de Asia una región que soporta una carga sustancial. La identificación temprana de niños vulnerables es esencial para una intervención oportuna. Si bien se han aplicado enfoques convencionales de aprendizaje automático (ML) (por ejemplo, regresión logística, bosques aleatorios) a los datos de encuestas demográficas y de salud con este propósito, estos dependen del aprendizaje supervisado específico para la tarea. Existe una brecha significativa en la comprensión de la aplicabilidad de los Modelos de Lenguaje de Gran Escala (LLMs) para la predicción de la salud poblacional estructurada, específicamente en lo que respecta a su viabilidad en entornos de zero-shot (aprendizaje sin ejemplos previos), su equidad entre grupos demográficos y socioeconómicos, y su robustez temporal a lo largo del tiempo.

Metodología
El estudio utilizó datos de la Encuesta Demográfica y de Salud de Bangladesh (BDHS) recopilados entre 2007 y 2022. El conjunto de datos analítico final comprendió 17,106 niños menores de cinco años, incluyendo 5,623 casos de desnutrición crónica (definidos como una puntuación z de talla para la edad < −2 DE) y 11,483 casos no afectados por desnutrición crónica.

• Representación de Datos: Las características maternas, del niño, de atención médica y del hogar fueron transformadas en representaciones de prompts basadas en listas, semánticamente interpretables. Se eligió este enfoque de serialización para preservar la semántica tabular y reducir la ambigüedad.
• Arquitectura del Modelo: El estudio empleó GPT-4o-mini como un LLM preentrenado en un entorno de zero-shot. El modelo fue instruido mediante un prompt para actuar como un modelo de clasificación clínica, emitiendo un único token (0 para no afectado, 1 para afectado por desnutrición crónica) basado en las características proporcionadas. La inferencia se realizó a través de la API de OpenAI con decodificación determinista (temperatura = 0).
• Comparación con el Baseline: El rendimiento se comparó con un clasificador de Bosque Aleatorio (Random Forest) supervisado (con pesos de clase equilibrados y validación cruzada de 5 pliegues).
• Métricas de Evaluación: El estudio evaluó la precisión equilibrada (balanced accuracy), el AUROC, la sensibilidad y la especificidad. Crucialmente, también evaluó la equidad (fairness) entre el sexo del niño, el lugar de residencia (rural/urbano) y el índice de riqueza del hogar, así como la robustez temporal a través de diferentes olas de la encuesta BDHS (2007, 2011, 2014, 2018, 2022).

Resultos Clave

• Rendimiento General: GPT-4o-mini logró una precisión equilibrada del 58.0% y un AUROC de 0.632, los cuales fueron razonablemente comparables al baseline de Random Forest (57.0% de precisión equilibrada, 0.685 AUROC).
• Sensibilidad vs. Especificidad: Se observó un compromiso (trade-off) distintivo. El LLM de zero-shot demostró una sensibilidad sustancialmente mayor (77.5%) en comparación con el Random Forest (23.4%), lo que indica una capacidad superior para identificar casos reales de desnutrición crónica. Sin embargo, esto tuvo como costo una especificidad significativamente menor (38.6% frente a 90.7%), lo que sugiere que el LLM tiende a sobrepredecir los resultados positivos de desnutrición crónica.
• Análisis de Equidad:
  • Sexo del Niño: El rendimiento fue relativamente consistente entre niños y niñas.
  • Residencia y Riqueza: Surgieron disparidades significativas. El modelo mostró una alta sensibilidad para niños de zonas rurales (86.0%) pero una especificidad muy baja (24.9%). Notablemente, para la categoría de riqueza "Más Pobre", el modelo alcanzó un 100% de sensibilidad y un 0% de especificidad.
  • Atribución de Características: Incluso tras excluir la característica explícita de "índice de riqueza" del prompt, el modelo mantuvo una alta sensibilidad (96%) y una baja especificidad (6%) para el grupo más pobre, lo que sugiere que el modelo puede estar aprendiendo asociaciones socioeconómicas implícitas a partir de características maternas o del hogar correlacionadas.
• Robustez Temporal: El modelo exhibió un comportamiento predictivo estable a través de las olas de la encuesta de 2007 a 2022, manteniendo la precisión equilibrada dentro de un rango estrecho (56.5%–58.2%) y un AUROC que varió modestamente (0.611–0.622). No obstante, la sensibilidad y la especificidad fluctuaron, mostrando las olas más tempranas una menor sensibilidad y una mayor especificidad en comparación con las más recientes.

Contribuciones Clave y Significado
El artículo contribuye al discurso emergente sobre la aplicabilidad práctica de los modelos fundacionales en la salud pública al:

1. Evaluar la Viabilidad de Zero-Shot: Demostrar que un LLM preentrenado puede alcanzar una precisión equilibrada comparable a un baseline supervisado sin entrenamiento específico para la tarea, ofreciendo al mismo tiempo una mayor sensibilidad para detectar la desnutrición crónica.
2. Resaltar los Riescos de Equidad: Identificar disparidades críticas en el rendimiento del modelo a través de las categorías de residencia y riqueza. El estudio subraya que los modelos fundacionales pueden codificar o amplificar inadvertidamente los sesgos socioeconómicos, provocando una sobreclasificación de la desnutrición en poblaciones desfavorecidas.
3. Evaluar la Estabilidad Temporal: Proporcionar evidencia de que los LLMs de zero-shot pueden mantener un comportamiento predictivo consistente a lo largo del tiempo a pesar de la evolución de las distribuciones demográficas y de salud, aunque los perfiles de sensibilidad y especificidad cambien.

Conclusión
Los autores concluyen que, si bien los LLMs de zero-shot muestran potencial para la predicción de la salud a nivel poblacional debido a su alta sensibilidad y estabilidad temporal, existen disparidades de equidad significativas. El artículo afirma que estos hallazgos resaltan la necesidad de investigar más a fondo los sesgos socioeconómicos y las limitaciones de los modelos fundacionales antes de que puedan ser desplegados de forma segura en entornos de predicción de salud pública. Se sugiere que el trabajo futuro explore el few-shot prompting, la optimización de prompts y las comparaciones con otros enfoques de ML robustos para mejorar la fiabilidad y la generalizabilidad.