Resumen Técnico: GuideSkill

Planteamiento del Problema

El diagnóstico clínico es un proceso de múltiples pasos que requiere la síntesis de información del paciente, la generación de diagnósticos diferenciales y la aplicación de umbrales basados en la evidencia para apoyar o refutar candidatos. Aunque las Guías de Práctica Clínica (CPG) codifican los criterios diagnósticos necesarios y la lógica condicional, los Modelos de Lenguaje de Gran Escala (LLM) suelen fallar al ejecutar estas reglas correctamente. Los enfoques actuales suelen depender de la recuperación de texto de las guías (RAG) o de la absorción de las guías mediante el entrenamiento, pero estos métodos no garantizan que las evaluaciones a nivel de criterio se apliquen con rigor a casos de pacientes específicos. Además, los sistemas existentes tienen dificultades para manejar diagnósticos fuera del corpus inicial de la guía o para combinar la generación flexible de candidatos con la aplicación explícita de reglas específicas de cada enfermedad sin actualizar los parámetros del modelo.

Metodología

El artículo presenta GuideSkill, una capa de razonamiento externa que transforma las CPG de referencias pasivas en una biblioteca evolutiva de habilidades diagnósticas ejecutables y específicas de cada enfermedad. El marco opera en tres etapas:

1. Formulación de la Tarea

Dado un caso de paciente $x$, el sistema predice un diagnóstico final $d^*$. El proceso implica:

• Generación de Candidatos: Un LLM genera un conjunto clasificado de diagnósticos diferenciales $C(x)$.
• Ejecución de Habilidades: Para cada candidato $d$, se recupera una habilidad ejecutable correspondiente $g_d$ de una biblioteca y se ejecuta sobre el caso del paciente para producir una puntuación de evidencia $s_{skill}(x, d)$.
• Fusión: La puntuación final $S(x, d)$ es una combinación ponderada de la puntuación de clasificación del LLM $s_{LLM}(x, d)$ y la puntuación de evidencia basada en la habilidad:
  $$S(x, d) = \alpha s_{LLM}(x, d) + (1 - \alpha) s_{skill}(x, d)$$
  donde $\alpha \in [0, 1]$ equilibra las dos señales.

2. Inicialización de Habilidades (GuideSkill-Zero)

Esta etapa construye la biblioteca de habilidades inicial a partir de guías clínicas curadas:

• Curación: Los documentos de las guías en bruto se filtran y curan para eliminar el ruido y el contenido no accionable.
• Extracción y Compilación: Las recomendaciones se extraen, se agrupan por categoría ICD-10 y se compilan mediante un LLM en funciones de Python ejecutables.
• Lógica de Puntuación: Cada habilidad mapea las características del paciente a uno de cuatro niveles de soporte (Confirmado, Fuertemente Sugestivo, Compatible, No Soportado), normalizado a una puntuación en $[0, 1]$. La evidencia contradictoria puede reducir el nivel de soporte.

3. Evolución de Habilidades (GuideSkill-Evo)

Para abordar la limitación de que las guías cubren solo un conjunto finito de diagnósticos, la biblioteca se evoluciona utilizando casos de pacientes etiquetados:

• Generación de Racionales: Para los casos de entrenamiento, el LLM genera racionales diagnósticos que resumen la evidencia que apoya el diagnóstico de la verdad fundamental (ground-truth).
• Destilación y Optimización: Los racionales para el mismo diagnóstico se agregan para destilar nuevas reglas específicas de la enfermedad. Estas reglas se utilizan para optimizar las habilidades existentes (si el diagnóstico ya está cubierto) o generar nuevas habilidades (si el diagnóstico está ausente de la biblioteca inicial).
• Resultado: Este proceso expande la cobertura de la biblioteca y refina las reglas de decisión para alinearse mejor con las presentaciones heterogéneas del mundo real sin modificar los parámetros del backbone del LLM.

4. Inferencia

Durante la inferencia, el LLM propone un diagnóstico diferencial. GuideSkill recupera las habilidades relevantes, extrae las características específicas requeridas por cada habilidad del relato del paciente, ejecuta las habilidades para obtener las puntuaciones de evidencia y fusiona estas puntuaciones con la clasificación del LLM para determinar la predicción final.

Contribuciones Clave

1. Ejecución de Habilidades Agénticas: El artículo formula el diagnóstico basado en guías como la ejecución de habilidades agénticas, desarrollando un flujo de trabajo que compila las recomendaciones de las CPG en puntuadores ordinales ejecutables indexados por enfermedad.
2. Evolución Condicionada por Casos: Introduce un mecanismo para refinar las habilidades cubiertas y añadir diagnósticos previamente no cubiertos utilizando casos etiquetados, expandiendo el alcance de la biblioteca más allá de los parámetros del LLM.
3. Evaluación Exhaustiva: Los autores evalúan el enfoque a través de cuatro benchmarks de razonamiento diagnóstico heterogéneos y cuatro backbones distintos (propietarios y de pesos abiertos), separando las contribuciones de la inicialización de la guía de las ganancias logradas mediante la evolución.

Resultados

La evaluación abarca cuatro benchmarks (MedCaseReasoning, ER-Reason, MIMIC-CDM-FI, MedThink-Bench) y cuatro backbones (GPT-5.4, Claude-Sonnet-4.6, MedGemma-27B, Qwen3.5-9B).

• Ganancias de Rendimiento: GuideSkill-Zero supera consistentemente al RAG de guías en todos los backbones. GuideSkill-Evo logra la mayor precisión promedio macro para cada backbone, mejorando sobre la inferencia directa en un promedio del 18.49% respecto al baseline más fuerte.
• Cobertura: La evolución aumenta la cobertura de habilidades de la etiqueta de oro (gold-label) del 56.5% (GuideSkill-Zero) al 99.5% (GuideSkill-Evo), llenando eficazmente los vacíos en el corpus inicial de las guías.
• Generalización: En MedThink-Bench, un benchmark excluido del conjunto de entrenamiento de la evolución, GuideSkill-Evo logra la mejor precisión o la mejor empatada en todos los backbones, demostrando transferibilidad a datos no vistos.
• Comparación con Métodos Basados en Entrenamiento: En Qwen3.5-9B, GuideSkill-Evo supera a los baselines más fuertes de actualización de parámetros (incluyendo el ajuste fino con guías, casos y aprendizaje por refuerzo) en un 11.16% sin actualizar el backbone.
• Validez Clínica: La evaluación experta de 10 habilidades (5 inicializadas por guías, 5 derivadas de casos) indicó que el 95.2% de las reglas iniciales eran consistentes con las guías, y 9/10 habilidades finales fueron aceptadas con solo revisiones menores. El $\kappa$ cuadrático ponderado general entre los juicios de los clínicos y las salidas de las habilidades fue de 0.60.

Significancia

El artículo postula que GuideSkill demuestra la viabilidad de las habilidades ejecutables externas como un mecanismo agnóstico al modelo para el razonamiento clínico. Al externalizar la lógica diagnóstica, el sistema permite:

• Reutilización: La misma lógica diagnóstica puede ser inspeccionada, actualizada y reutilizada a través de diferentes backbones de LLM.
• Transparencia: La lógica de decisión es explícita e interpretable, a diferencia de los pesos opacos de los modelos ajustados finamente.
• Extensibilidad: La biblioteca puede expandirse con nuevos diagnósticos y reglas refinadas utilizando casos etiquetados sin el costo computacional o los requisitos de datos de reentrenar el modelo backbone.

Los autores concluyen que, si bien es necesaria una validación clínica más amplia antes de su despliegue clínico, los resultados respaldan el uso de habilidades ejecutables para combinar procedimientos derivados de guías con patrones diagnósticos derivados de casos, ofreciendo una alternativa robusta a los métodos de actualización de parámetros para mejorar la precisión y la cobertura diagnóstica.