Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

1. El Problema

Los Modelos de Lenguaje Grande (LLM) tienen el potencial de transformar la atención sanitaria, pero su adopción en entornos clínicos de alto riesgo (como la medicina) se ve obstaculizada por su tendencia a las "alucinaciones" (generar información incorrecta con terminología convincente) y, crucialmente, por su sobreconfianza.

• Riesgo Clínico: Los modelos a menudo presentan respuestas erróneas con un nivel de certeza aparente muy alto, lo que puede engañar a profesionales o pacientes sin experiencia especializada.
• Brecha de Conocimiento: Aunque existen métodos para cuantificar la incertidumbre (análisis de probabilidades a nivel de token, diferencias semánticas, modelos sustitutos), la elicitación de confianza auto-reportada (donde el modelo verbaliza su propio nivel de certeza) es una aproximación práctica pero poco caracterizada, especialmente en modelos de código abierto y en especialidades médicas específicas como la gastroenterología.
• Objetivo Central: Determinar si los LLMs actuales pueden autoevaluar con precisión su confianza al responder preguntas de nivel de certificación médica, y si esta capacidad varía entre arquitecturas comerciales, de código abierto y versiones cuantizadas.

2. Metodología

El estudio empleó un diseño sistemático para evaluar 48 LLMs diferentes (6 cuantizados y 42 modelos base) de siete familias principales (GPT, Claude, Llama, Phi, Mistral, Gemini, Qwen).

• Conjunto de Datos: Se utilizaron 300 preguntas de opción múltiple del examen de autoevaluación de la American College of Gastroenterology (ACG) 2022. Estas preguntas, creadas por expertos, cubren temas como hígado, colon, esófago y endoscopia. Se seleccionaron por estar detrás de un muro de pago, reduciendo la probabilidad de que estuvieran en los conjuntos de entrenamiento de los modelos.
• Generación de Respuestas:
  • Se optimizaron los parámetros (temperatura, tokens máximos, ingeniería de prompts) utilizando un subconjunto de datos.
  • Se utilizaron interfaces web, APIs y configuraciones locales (hardware como RTX4090Ti y H100) para generar respuestas.
  • Se solicitó a los modelos que reportaran una puntuación de confianza del 0 (mínima) al 10 (máxima).
• Extracción de Datos: Se desarrolló un pipeline semi-automatizado (combinando expresiones regulares y LLMs) para extraer la respuesta y la puntuación de confianza de las salidas no estructuradas. La verificación humana alcanzó un 99% de precisión.
• Métricas de Evaluación:
  • Precisión: Porcentaje de respuestas correctas.
  • Discriminación: Medida por el AUROC (Área bajo la curva de características operativas del receptor), que evalúa la capacidad del modelo para distinguir entre respuestas correctas e incorrectas basándose en su puntuación de confianza.
  • Calibración: Medida por la Puntuación Brier y el Error de Calibración Esperado (ECE). Una buena calibración implica que cuando un modelo dice tener un 80% de confianza, debería acertar el 80% de las veces.
  • Análisis Adicional: Se estudió la relación entre la confianza y la dificultad de la pregunta (porcentaje de aciertos humanos) y la longitud de la pregunta.

3. Contribuciones Clave

• Evaluación Exhaustiva: Es uno de los estudios más amplios que compara simultáneamente modelos comerciales de vanguardia (GPT-4o, Claude-3.5), modelos de código abierto (Llama 3, Qwen) y versiones cuantizadas en un dominio médico especializado.
• Análisis de la "Sobreconfianza": Proporciona evidencia cuantitativa de que, independientemente de la arquitectura o el tamaño del modelo, existe una tendencia sistemática a sobreestimar la confianza.
• Caracterización de Modelos Cuantizados: Evalúa específicamente cómo la cuantización (reducción de precisión de los pesos del modelo para su ejecución local) afecta la capacidad de elicitación de confianza, un aspecto crítico para la privacidad de datos en entornos hospitalarios.
• Identificación de Límites: Demuestra que, aunque los modelos más nuevos mejoran en precisión, su capacidad para cuantificar la incertidumbre sigue siendo insuficiente para aplicaciones clínicas de alto riesgo.

4. Resultados Principales

• Sobreconfianza Generalizada: Todos los modelos evaluados mostraron puntuaciones de confianza promedio (rango 7.99 - 9.58) que superaron significativamente su precisión promedio. Incluso los modelos con mejor rendimiento (como GPT-o1 preview con 81.5% de precisión) reportaron una confianza media de 9.15.
• Discriminación Limitada:
  • El AUROC de todos los modelos fue inferior al umbral de 0.7 (considerado aceptable para discriminación útil). El mejor modelo fue GPT-o1 mini (0.626), seguido de GPT-4 y Claude-3.5 Sonnet (~0.60).
  • Esto indica que la puntuación de confianza del modelo no es un indicador fiable para distinguir entre una respuesta correcta y una incorrecta.
• Calibración Deficiente:
  • Solo cinco modelos lograron puntuaciones Brier superiores a las del azar: GPT-o1 preview (0.157), Claude-3.5 Sonnet (0.202), GPT-4o (0.206), y dos versiones de Claude-3 Opus.
  • Las curvas de calibración mostraron que los modelos tienden a mantener niveles de confianza altos incluso cuando la precisión cae drásticamente en preguntas difíciles.
• Efecto del Tamaño y la Generación:
  • Los modelos más recientes y con mayor número de parámetros mostraron una mejor calibración relativa, pero la mejora fue marginal y no eliminó el sesgo de sobreconfianza.
  • No se observó una correlación clara entre la longitud de la pregunta y la variación de la confianza.
• Fallo en la Diferenciación: Las puntuaciones de confianza para respuestas incorrectas fueron a menudo similares a las de las respuestas correctas, lo que invalida la utilidad de la autoevaluación para filtrar errores.

5. Significado e Implicaciones

• Seguridad Clínica: Los hallazgos sugieren que no se debe confiar en la autoevaluación de confianza de los LLMs actuales para la toma de decisiones clínicas autónomas o para alertar a los médicos sobre posibles errores. La "confianza verbalizada" no es un proxy fiable de la veracidad.
• Desafío para la Implementación: A pesar de los avances en la precisión de los modelos (capacidad de responder correctamente), la capacidad de cuantificar la incertidumbre (saber cuándo no sabe) no ha evolucionado al mismo ritmo. Esto representa un cuello de botella para la integración segura de la IA en la medicina.
• Dirección Futura: El estudio concluye que se necesitan protocolos de entrenamiento específicos que aborden explícitamente la estimación de confianza y la incertidumbre. Técnicas como la inyección de pocos ejemplos (few-shot) y el aprendizaje en contexto (in-context learning) podrían ser necesarias, pero aún no son suficientes por sí solas.
• Recomendación: Para aplicaciones médicas de alto riesgo, es imperativo desarrollar métodos de cuantificación de incertidumbre externos al modelo (como métodos de ensamblaje o verificación humana) en lugar de depender de la elicitación interna de confianza.

En resumen, el estudio actúa como una advertencia crítica: aunque los LLMs son herramientas poderosas de conocimiento, su "autoconciencia" sobre sus propios errores es actualmente deficiente, lo que requiere precaución extrema en su despliegue clínico.