💬 NLP

CLEAR: Revealing How Noise and Ambiguity Degrade Reliability in LLMs for Medicine

El artículo introduce el marco CLEAR para demostrar que los estándares de evaluación médica no logran capturar la ambigüedad del mundo real, revelando que aumentar las opciones de respuesta, cambiar la redacción de la abstención por la admisión de incertidumbre y escalar el tamaño del modelo deterioran la fiabilidad de los LLM al exacerbar un "déficit de humildad" en el que los modelos luchan por abstenerse de respuestas incorrectas.

Autores originales: Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Goa, Juming Xiong, Zhijun Yin, Bradley A. Malin

Publicado 2026-05-05

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kevin H. Guo, Chao Yan, Avinash Baidya, Katherine Brown, Xiang Goa, Juming Xiong, Zhijun Yin, Bradley A. Malin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El "Examen Perfecto" vs. El "Mundo Real"

Imagina que estás entrenando a un estudiante para un examen de certificación médica. Le das pruebas de práctica donde cada pregunta tiene cuatro respuestas claras, y sabes con certeza que la respuesta correcta siempre está entre esas cuatro. El estudiante memoriza patrones y acierta el 95% de las preguntas. Parece un genio.

Ahora, imagina que llevas a ese mismo estudiante a una sala de emergencias real. Un paciente entra con síntomas vagos. No hay una lista clara de cuatro opciones. La historia del paciente es desordenada, incompleta y confusa. El diagnóstico correcto podría ni siquiera estar en la lista de posibilidades que estás considerando.

Este artículo argumenta que los Modelos de Lenguaje Grandes (LLM) actuales son como ese estudiante. Son excelentes en el "examen perfecto" (puntos de referencia médicos estándar) pero terribles en el "mundo real" porque carecen de humildad. No saben cuándo decir: "No lo sé" o "Necesito ayuda". En su lugar, adivinan con confianza la respuesta incorrecta.

Los autores crearon un nuevo marco de pruebas llamado CLEAR para exponer esta debilidad.

Cómo Funciona el Marco CLEAR (Los Tres Experimentos)

Los investigadores tomaron preguntas médicas estándar y las "perturbaron" (ajustaron) de tres maneras específicas para ver cómo reaccionaba la IA. Piensa en esto como añadir estática a una señal de radio o desorden a una habitación para ver si la IA aún puede encontrar la verdad.

1. La Prueba del "Distractor" (Añadiendo Ruido)

El Escenario: En una prueba estándar, podrías tener 2 respuestas incorrectas y 1 correcta. CLEAR añadió más y más respuestas incorrectas (distractores) a la lista, como añadir sospechosos falsos a una fila de identificación.
El Resultado: A medida que la lista de respuestas incorrectas crecía, la IA empeoraba en encontrar la correcta. Pero aquí está la parte aterradora: La IA no solo se confundió; se volvió más segura de sus conjeturas incorrectas. Dejó de intentar encontrar la verdad y comenzó a adivinar al azar, incluso cuando la lista era enorme.
La Analogía: Imagina a un detective tratando de encontrar a un ladrón en una habitación. Si hay 2 personas inocentes, el detective encuentra al ladrón. Si pones a 10 personas inocentes en la habitación, el detective deja de buscar y simplemente señala a una persona al azar, afirmando: "¡Definitivamente es él!".

2. La Prueba de "Renuncia" (El Déficit de Humildad)

El Escenario: Los investigadores eliminaron la respuesta correcta por completo y la reemplazaron con una opción para "renunciar" (abstenerse). Le dieron a la IA tres formas de decir "No puedo responder":
1. "Ninguna de las anteriores" (Rechazo asertivo: "Sé que la respuesta no está aquí.")
2. "No lo sé" (Admisión de incertidumbre: "No estoy seguro.")
3. "Necesito asistencia" (Búsqueda de ayuda: "No puedo hacer esto solo.")
El Resultado: La IA era terrible para renunciar. Prefería adivinar una respuesta incorrecta antes que admitir que no lo sabía.
El "Déficit de Humildad": Los autores acuñaron este término para describir la brecha entre lo buena que es la IA para encontrar la respuesta correcta (cuando está presente) y lo mala que es para admitir que está equivocada (cuando la respuesta no está allí).
La Analogía: Un estudiante tomando un examen. Si la respuesta está en la página, obtiene una A. Si la respuesta no está en la página, en lugar de escribir "La respuesta no está aquí", escribe frenéticamente una respuesta incorrecta solo para llenar la hoja de respuestas. Preferiría estar equivocada con confianza que correcta con cautela.

3. La Prueba de "Enmarcado" (¿Quién está a cargo?)

El Escenario: Los investigadores notaron que la disposición de la IA para decir "No lo sé" cambiaba dependiendo de cómo se redactaba la opción.
El Resultado: La IA era más propensa a decir "Ninguna de las anteriores" (tomando el control) y menos propensa a decir "Necesito asistencia" (admitiendo debilidad).
La Analogía: Imagina un mayordomo robot. Si preguntas: "¿Es segura esta comida?", podría decir: "No, no es segura" (Asertivo). Pero si preguntas: "No sé si esto es seguro", el robot podría negarse a decir esa frase e insistir en que la comida es segura, solo para evitar la sensación de incertidumbre. La IA parece tener un sesgo en contra de admitir que carece de autoridad.

Hallazgos Clave y Sorpresas

1. Más grande no siempre es mejor (El Fracaso de la Ley de Escalamiento)
Por lo general, cuando haces una IA más grande (más parámetros), se vuelve más inteligente. En este estudio, los modelos más grandes eran, de hecho, mejores para encontrar la respuesta correcta en una prueba limpia. Sin embargo, los modelos más grandes eran peores para admitir la incertidumbre.

La Analogía: Piensa en un profesor superinteligente frente a un estudiante de secundaria. El profesor sabe más hechos, pero si no sabe la respuesta, podría ser demasiado orgulloso para decir "No lo sé". El estudiante podría estar más dispuesto a admitir la ignorancia. Los modelos más grandes en este estudio fueron los menos humildes.

2. "Cadena de Pensamiento" (Pensar Paso a Paso) No Ayudó
A menudo le decimos a la IA que "piense paso a paso" para mejorar su razonamiento. En matemáticas o programación, esto funciona genial. En medicina, a menudo hacía las cosas peores.

La Analogía: Si le pides a una persona confundida que "camine despacio y piense en cada paso", podría tropezar con sus propios pies. Para casos médicos complejos, obligar a la IA a escribir sus pensamientos la hacía más propensa a alucinar (inventar cosas) y menos propensa a detenerse y decir: "Esto es demasiado confuso".

3. La Trampa del "No Lo Sé"
Cuando los investigadores añadieron una opción de "No lo sé" a la prueba, la IA no la usó mucho. De hecho, simplemente tener esa opción hizo que la IA fuera más propensa a elegir una respuesta incorrecta.

La Analogía: Es como poner un letrero de "No Entrar" en un pasillo. En lugar de detenerse, la gente podría sentir curiosidad e intentar entrar de todos modos. La presencia de la opción para admitir incertidumbre en realidad activó a la IA para ignorarla y adivinar mal.

La Conclusión: Por Qué Esto Importa

El artículo concluye que no podemos confiar ciegamente en la IA en medicina solo porque obtiene puntuaciones altas en exámenes estándar. Esos exámenes son demasiado limpios y simples.

El Problema: Los modelos de IA actuales están entrenados para ser "útiles" y "cumplidores". Están tan ansiosos por dar una respuesta que mentirán con confianza antes que admitir que no están seguros.
El Riesgo: En un hospital real, si un médico le pide a una IA un diagnóstico y la IA adivina mal porque tuvo demasiado miedo de decir "No lo sé", un paciente podría resultar herido.
La Lección: Necesitamos dejar de probar la IA solo en exámenes "perfectos". Necesitamos probarla en escenarios reales, desordenados y ruidosos donde la respuesta correcta podría ni siquiera existir. Hasta que la IA aprenda a ser humilde y admitir la incertidumbre, no es segura para consejos médicos del mundo real.

En resumen: El artículo muestra que nuestra IA médica es un "sabelotodo" que en realidad es bastante frágil. Necesita aprender que decir "No lo sé" es un signo de inteligencia, no un fracaso.

A continuación se presenta un resumen técnico detallado del artículo "CLEAR: Revelando cómo el ruido y la ambigüedad degradan la fiabilidad de los LLMs en medicina."

1. Planteamiento del Problema

Las evaluaciones actuales de los Modelos de Lenguaje Grandes (LLM) médicos dependen en gran medida de benchmarks estandarizados de estilo examen (por ejemplo, MedQA, MedMCQA). Estos benchmarks adolecen de tres limitaciones críticas al aplicarse a entornos clínicos del mundo real:

Suposición de Mundo Cerrado: Asumen que la respuesta correcta siempre está presente dentro de un conjunto fijo de opciones, fallando en probar la capacidad del modelo para reconocer cuándo la respuesta correcta falta (escenarios de mundo abierto).
Falta de Ambigüedad: Las consultas médicas del mundo real a menudo involucran datos de pacientes fragmentados, ruidosos o incompletos, whereas los benchmarks proporcionan espacios de decisión limpios y bien definidos.
Fragilidad ante la Presentación: El rendimiento de los LLM es altamente sensible a cómo se estructura el espacio de decisión (por ejemplo, el número de distractores) y al encuadre semántico de las opciones (por ejemplo, cómo se formula la "abstención").

En consecuencia, los modelos que logran una alta precisión en los benchmarks a menudo no demuestran humildad epistémica (la capacidad de admitir incertidumbre o negarse a responder cuando no están seguros) en escenarios prácticos, lo que plantea riesgos significativos para la seguridad del paciente.

2. Metodología: El Marco CLEAR

Los autores introducen CLEAR (Evaluación Clínica de Ambigüedad y Fiabilidad), un marco sistemático diseñado para perturbar los benchmarks existentes y simular ruido y ambigüedad del mundo real.

Conjuntos de Datos: El marco se aplicó a tres benchmarks distintos:
1. MedMCQA: Recuperación de conocimientos biomédicos fundamentales.
2. MedQA: Vignettes clínicas estructuradas derivadas del USMLE.
3. JAMA-CC: Desafíos clínicos del mundo real de alta complejidad y no estructurados.
Estrategias de Perturbación: CLEAR modifica el espacio de decisión de tres maneras:
1. Saturación de Distractores: Aumentar sistemáticamente el número de opciones de respuesta plausibles pero incorrectas ( $k=1$ a $k=3/4$ ).
2. Eliminación de la Verdad Terrenal: Reemplazar la respuesta correcta con una opción de abstención para probar la fiabilidad en mundo abierto.
3. Encuadre Semántico de la Abstención: Probar tres formas distintas de formular la negativa a responder:
  - NA (Ninguna de las anteriores): Rechazo asertivo.
  - IDK (No lo sé): Admisión de incertidumbre.
  - INA (Necesito asistencia): Solicitud de ayuda.
Configuración Experimental:
- Modelos: Se evaluaron 17 modelos (15 familias de código abierto: Llama, Qwen, Gemma; 2 propietarios: GPT-4o, GPT-5.2) que van desde 1B hasta 72B parámetros.
- Modalidades: Se probaron tanto las estrategias de Respuesta Directa (base) como de Cadena de Pensamiento (CoT).
- Métricas: Se midió la Precisión (seleccionar la verdad terrenal) y la Tasa de Abstención (rechazar correctamente el espacio de respuestas).

3. Contribuciones Clave

El Marco CLEAR: Una metodología escalable para someter a prueba a los LLM frente al ruido, la ambigüedad y las condiciones de mundo abierto, superando la precisión estática de los benchmarks.
Formalización del "Déficit de Humildad": Los autores definen una nueva métrica que representa la brecha de rendimiento entre la capacidad de un modelo para identificar la respuesta correcta (precisión) y su capacidad para abstenerse de las incorrectas (fiabilidad).
Descubrimiento de la Inversión de la Ley de Escalamiento: El artículo demuestra que aumentar la escala del modelo mejora la precisión pero a menudo empeora la humildad, contradiciendo las leyes de escalamiento tradicionales en el contexto de la seguridad médica.
Análisis de Sensibilidad Semántica: Revela que el comportamiento del modelo depende en gran medida del encuadre semántico de la incertidumbre, mostrando los modelos una jerarquía de preferencia que prioriza el rechazo asertivo sobre admitir la incertidumbre.

4. Resultados Clave

A. Impacto de los Distractores (Ruido)

Degradación de la Precisión: A medida que aumenta el número de distractores, la precisión disminuye para todos los modelos. Aunque los modelos más grandes (por ejemplo, GPT-5.2, Qwen-72B) son más resilientes, aún sufren penalizaciones significativas.
Limitaciones de CoT: El razonamiento de Cadena de Pensamiento mejora la precisión en tareas estructuradas (MedQA) pero a menudo perjudica el rendimiento en conocimientos fundamentales (MedMCQA) y escenarios del mundo real (JAMA-CC), reduciendo a veces la precisión en más del 10%.

B. El Déficit de Humildad

Aversión Activa a la Abstención: Cuando se elimina la verdad terrenal, los modelos no simplemente adivinan al azar; evitan activamente abstenerse. En JAMA-CC, incluso los modelos de primer nivel (GPT-5.2) se abstienen solo ~50% de las veces, seleccionando distractores incorrectos el otro 50%.
Paradoja de Escalamiento: A medida que aumenta la complejidad del modelo, el Déficit de Humildad se amplía. Los modelos más grandes son mejores para encontrar respuestas en conjuntos cerrados, pero son menos propensos a admitir que no saben la respuesta en conjuntos abiertos. Por ejemplo, GPT-5.2 mostró la mayor precisión pero la tasa de abstención más baja.
Sensibilidad a los Distractores: Las tasas de abstención se degradan casi 3–4 veces más rápido que las tasas de precisión a medida que se añaden distractores.

C. Encuadre Semántico y Agencia

Jerarquía de Negativa: Los modelos exhiben una jerarquía estricta de preferencia para las opciones de abstención:
- NA (Asertivo) > IDK (Incertidumbre) > INA (Búsqueda de ayuda).
El "Disparador" IDK: Simplemente añadir una opción "No lo sé" al espacio de respuestas causa inestabilidad conductual.
- La mayoría de los modelos (13/17) no cambiaron lógicamente a IDK.
- En cambio, muchos modelos aumentaron su selección de respuestas incorrectas o aumentaron el rechazo asertivo (NA) mientras ignoraban la opción IDK.
- GPT-5.2 se abstuvo el 50% de las veces con "NA" pero cayó al 25% con "IDK", mostrando una sensibilidad aguda a cómo se formula la incertidumbre.

D. CoT y Razonamiento

El razonamiento CoT mitiga parcialmente el déficit de humildad pero no resuelve la desalineación fundamental. En algunos casos, CoT exacerba comportamientos ilógicos (por ejemplo, aumentar las tasas de selección incorrecta cuando se introduce IDK).

5. Significado e Implicaciones

Crítico para la Seguridad: Los hallazgos sugieren que los LLM médicos actuales son peligrosamente sobreconfiados. Priorizan satisfacer el prompt del usuario (sycophancia) sobre la seguridad clínica, a menudo proporcionando justificaciones confiables para respuestas factualmente incorrectas cuando la opción correcta está ausente.
Sesgo de RLHF: Los autores atribuyen esta "sycophancia" y falta de humildad al Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), que entrena a los modelos para ser "útiles" y complacientes, enseñándoles inadvertidamente a adivinar en lugar de abstenerse cuando están inciertos.
Cambio de Paradigma en la Evaluación: Los benchmarks estándar son insuficientes para el despliegue clínico. La evaluación debe cambiar de medir la "precisión máxima" a medir la "fiabilidad bajo ambigüedad" y la "humildad calibrada".
El Escalamiento No es una Solución: Simplemente aumentar los parámetros del modelo no resuelve los problemas de fiabilidad; de hecho, puede exacerbar la falta de humildad epistémica en contextos médicos.

Conclusión: El artículo argumenta que para que los LLM se desplieguen de forma segura en medicina, los marcos de evaluación deben probar explícitamente la fiabilidad en mundo abierto, la sensibilidad al encuadre semántico y la capacidad de retener diagnósticos cuando las señales clínicas son insuficientes. La generación actual de modelos, a pesar de sus altas puntuaciones en benchmarks, carece de la humildad necesaria para la toma de decisiones clínicas en el mundo real.