Adversarial Fragility and Language Vulnerability in Clinical AI: A Systematic Audit of Diagnostic Collapse Under Imperceptible Perturbations and Cross-Lingual Drift in Low-Resource Healthcare Settings

Resumen Técnico: Fragilidad Adversarial y Vulnerabilidad Lingüística en la IA Clínica

Planteamiento del Problema
Los sistemas actuales de Inteligencia Artificial (IA) clínica se evalúan predominantemente sobre conjuntos de datos limpios, estandarizados y en idioma inglés, creando un "envolvente de fragilidad" que no refleja las realidades de la prestación de atención sanitaria en entornos de recursos limitados, particularmente en el África subsahariana. Este estudio identifica dos vulnerabilidades de seguridad ortogonales que amenazan el despliegue de la IA en los Centros de Salud Primaria (PHC) de Nigeria:

1. Fragilidad Adversarial de Imágenes: La susceptibilidad de los modelos de aprendizaje profundo a perturbaciones imperceptibles que provocan un colapso diagnóstico.
2. Deriva Diagnóstica Cross-Lingüística: La degradación del razonamiento de los Modelos de Lenguaje Grande (LLM) cuando los pacientes se presentan en dialectos locales (Nigerian Pidgin/Naija) o en inglés con inflexión yoruba, en lugar del Inglés Americano Estándar (SAE).

Metodología
El estudio realizó una auditoría dual sistemática utilizando dos vías experimentales distintas:

• Vía 1: Robustez Adversarial (Análisis de Imágenes)

  • Arquitectura: DenseNet121 (la base de CheXNet), ajustado finamente en el conjunto de datos COVID-QU-Ex (85.318 imágenes).
  • Conjunto de datos: Un conjunto de prueba estratificado de 150 imágenes (50 por clase: COVID-19, Neumonía no COVID, Normal).
  • Vector de Ataque: Método de Gradiente Rápido (FGM) aplicado a través de 15 niveles de épsilon ($\epsilon$) desde 0 hasta 0.3.
  • Prueba de Estrés de Mitigación: Se evaluaron tres estrategias defensivas en el umbral crítico de $\epsilon=0.021$: suavizado gaussiano ($\sigma=1.0$), votación de conjuntos (mediante aumentaciones geométricas) y Entrenamiento Adversarial Mini.
  • Entorno: Los experimentos se ejecutaron con aceleración MPS en Apple Silicon; los modelos se envolvieron en la Caja de Herramientas de Robustez Adversarial (ART).

• Vía 2: Fragilidad Lingüística (Análisis de LLM)

  • Modelos: Se comparó un modelo de propósito general (Llama3.1:8b) contra un modelo de contexto africano (NatLAS/N-ATLAS).
  • Conjunto de datos: 20 viñetas clínicas redactadas que cubren las mismas tres clases diagnósticas, presentadas en tres registros: Inglés Estándar, Nigerian Pidgin (Naija) e Inglés con inflexión yoruba (60 consultas en total).
  • Métricas: Precisión diagnóstica y consistencia cross-lingüística (acuerdo con la predicción en Inglés Estándar).
  • Inferencia: Ejecución local mediante la API de Ollama con temperatura establecida en 0.0 para garantizar la reproducibilidad.

Resultados Clave

• Colapso Adversarial: El modelo DenseNet121 ajustado finamente logró una precisión base del 89.3%. Bajo una perturbación mínima de $\epsilon=0.021$ (cambio de intensidad del 2.1% por píxel, imperceptible para el ojo humano), la precisión colapsó al 62.0% (una caída de 27.3 puntos porcentuales). En $\epsilon=0.300$, la precisión cayó al 34.7%, indistinguible del azar aleatorio.

  • Impacto por Clase: Los pacientes "Normales" sufrieron la degradación más severa, cayendo de una precisión del 78.0% al 42.0%, lo que condujo a una alta tasa de falsos positivos (pacientes sanos diagnosticados erróneamente con neumonía).
  • Fallo de la Defensa: Las defensas estándar no lograron restaurar la seguridad. El suavizado gaussiano redujo aún más la precisión al 34.7% (peor que la línea base indefensa), mientras que la votación de conjuntos solo logró una recuperación parcial (72.7%), permaneciendo 16.6 puntos por debajo de la línea base limpia.

• Fragilidad Lingüística: Ambos modelos exhibieron una degradación significativa de la precisión cuando las entradas se desviaban del Inglés Estándar.

  • Llama3.1:8b: La precisión cayó del 80.0% (Inglés) al 65.0% (Pidgin) y al 60.0% (Inglés-Yoruba). La consistencia diagnóstica cayó al 85% para el Pidgin.
  • NatLAS: A pesar de una mayor precisión base en inglés (85.0%), exhibió una "Paradoja de Localización", colapsando al 55.0% en Nigerian Pidgin (una caída de 30 puntos). Crucialmente, su consistencia diagnóstica en Pidgin cayó al 50%, lo que significa que el modelo produjo un diagnóstico diferente para el mismo paciente en la mitad de los casos de Pidgin en comparación con su salida en inglés.

Contribuciones Clave

1. Primera Auditoría Cuantitativa: Proporcionó la primera evaluación cuantitativa de la robustez adversarial para DenseNet121 en radiografías de tórax por COVID-19 dentro de un contexto clínico nigeriano.
2. Evaluación Sistemática de la Deriva: Realizó una evaluación cara a cara de la deriva diagnóstica a través de tres registros lingüísticos nigerianos, revelando que incluso los modelos diseñados para contextos africanos (NatLAS) sufren una fragilidad severa en dialectos de nivel comunitario.
3. Ineficacia de la Defensa: Demostró empíricamente que las estrategias defensivas estándar (suavizado, ensamblaje) son insuficientes para restaurar la seguridad clínica bajo estas condiciones adversarias y lingüísticas específicas.
4. Definición del Envolvente de Fallo: Estableció un "envolvente de fallo" cuantitativo para la IA clínica, identificando $\epsilon=0.021$ como un umbral crítico donde la fiabilidad diagnóstica colapsa.

Significado y Afirmaciones
El artículo argumenta que los sistemas actuales de IA clínica pueden estar operando ya dentro de su "zona de peligro adversarial" debido a artefactos digitales rutinarios (compresión, ruido de transmisión) que imitan las magnitudes de los ataques. Los hallazgos destacan una "inequidad algorítmica" crítica donde los pacientes que se comunican en dialectos nativos reciben evaluaciones clínicas sistemáticamente diferentes y menos precisas.

Los autores concluyen que un despliegue seguro en entornos de PHC africanos requiere:

• Auditoría Obligatoria: La publicación de "Mapas de Robustez Adversarial" y "Perfiles de Deriva Cross-Lingüística" antes del despliegue.
• Endurecimiento Arquitectónico: Un alejamiento de las arquitecturas estándar hacia diseños endurecidos adversarialmente.
• Inclusión Lingüística: Entrenamiento en corpus Naija de nivel comunitario en lugar de solo registros escritos formales para abordar la "Paradoja de Localización".

El estudio sirve como un llamado a marcos regulatorios en Nigeria y el África subsahariana para exigir estas evaluaciones de seguridad específicas, señalando que las normas actuales (como la Ley de IA de la UE) aún no se han traducido a contextos regulatorios locales.