LLM StructCore: Schema-Guided Reasoning Condensation and Deterministic Compilation

1. Problema y Contexto

El trabajo aborda el desafío de rellenar automáticamente Formularios de Reporte de Casos (CRF) a partir de notas clínicas no estructuradas, específicamente en la tarea de "Dyspnea" (disnea) del taller CL4Health 2026.

• Desafíos principales:
  • Esparcidad extrema: De los 134 ítems del formulario, la mayoría son desconocidos en cada documento (mediana de ~12 ítems conocidos).
  • Rigidez del contrato de salida: El sistema debe generar un formato JSON estricto y un vocabulario controlado (13 categorías).
  • Costo de los falsos positivos (FP): El sistema de puntuación penaliza severamente tanto los valores vacíos incorrectos como las predicciones no respaldadas por evidencia ("alucinaciones").
  • Inestabilidad de los LLM: Los modelos de lenguaje grandes (LLM) tienden a fallar en el formato de salida (JSON inválido) o a generar datos no soportados cuando se les pide extraer 134 campos directamente.

2. Metodología: LLM StructCore

La propuesta introduce un diseño de dos etapas basado en el Razonamiento Guiado por Esquema (SGR - Schema-Guided Reasoning), separando la extracción de información clínica de la aplicación de reglas estrictas.

Etapa 1: Condensación SGR (LLM)

En lugar de pedir al LLM que prediga los 134 ítems directamente, el modelo genera un resumen JSON estable con exactamente 9 claves de dominio:

1. Demografía, 2. Signos vitales, 3. Laboratorio, 4. Problemas, 5. Síntomas, 6. Medicamentos, 7. Procedimientos, 8. Utilización, 9. Disposición.

• Patrones de Prompting:
  • Cascada: El modelo sigue una secuencia fija de los 9 dominios.
  • Ciclo: Se imponen listas de verificación implícitas dentro de cada dominio para mejorar la recuperación (recall) de ítems esparcidos.
  • Enrutamiento: El modelo solo emite cadenas de texto libres dentro de la estructura JSON, sin intentar mapear a categorías controladas todavía.
• Ventaja técnica: Este enfoque logra un 100% de éxito en el análisis JSON incluso con modelos cuantizados pequeños (4B) y sin necesidad de decodificación restringida por gramática (como XGrammar), lo que lo hace compatible con cualquier backend de inferencia.
• Estrategia de entrada: Para notas clínicas largas, se utiliza una estrategia de "ventanas superpuestas" (multi-slice) que se condensan y fusionan, preservando la información dispersa.

Etapa 2: Compilador Determinista (0-LLM)

Esta etapa es un script de Python puramente determinista que toma el JSON de la Etapa 1 y genera el archivo de envío final (134 ítems). No utiliza LLMs.

• Algoritmo de 4 pasos:
  1. Extracción KV: Parsea las cadenas de texto del JSON para obtener pares clave-valor.
  2. Canonicización: Normaliza los nombres de los ítems usando coincidencias exactas, mayúsculas/minúsculas, expansión de abreviaturas (70+ reglas) y un mapa de alias UMLS (cobertura 134/134).
  3. Puertas de Falsos Positivos (FP-Gates) y Derivación: Aplica reglas estrictas basadas en evidencia (regex) para descartar predicciones positivas no respaldadas (ej. bloquear "neoplasia activa" si no hay vocabulario de cáncer activo). También deriva ítems compuestos (ej. inferir polifarmacia si hay ≥8 medicamentos).
  4. Normalización de Vocabulario: Mapea los valores extraídos a las 13 categorías controladas oficiales (binario, AVPU, escala de 4 clases, etc.) y rellena el resto con "desconocido".

3. Contribuciones Clave

1. Arquitectura de Dos Etapas: Separar la "comprensión clínica" (LLM) de la "aplicación de contrato" (Código determinista) mejora drásticamente la estabilidad del formato y la reproducibilidad.
2. SGR para Estabilidad: Demostrar que un esquema intermedio simple (9 claves) permite que modelos pequeños y cuantizados generen salidas estructuradas perfectas, evitando la deriva de formato.
3. Compilador Determinista: Elimina la variabilidad y el costo de inferencia de usar un LLM para la etapa final, garantizando que la misma entrada siempre produzca la misma salida.
4. Independencia del Idioma: El pipeline funciona tanto en inglés como en italiano sin ingeniería específica por idioma en la Etapa 1, utilizando el mapa UMLS para la normalización.
5. Listo para el Edge AI: La metodología permite desplegar el sistema en hardware local (ej. laptops con Apple M3) usando modelos pequeños (4B), protegiendo la privacidad de los datos al no enviar notas crudas a APIs externas.

4. Resultados

• Desarrollo (dev80):
  • Configuración con Mistral Large 3 (Etapa 1) + Compilador Determinista:
    • Inglés (EN): Macro-F1 de 0.6543.
    • Italiano (IT): Macro-F1 de 0.6905.
  • Se observó que los resultados en italiano superaron a los de inglés, atribuido a que las notas clínicas originales italianas son más estructuradas y formulaicas.
• Prueba (test200 - Codabench):
  • La variante enviada en inglés alcanzó un F1 de 0.63, situándose a solo 0.05 puntos del equipo líder (F1 0.68).
  • La variante italiana (F1 0.69 en desarrollo) no pudo ser enviada debido al límite de intentos, pero demostró un alto potencial.
• Ablación: El uso de puertas de falsos positivos redujo los FP en un ~70% para ítems de alto riesgo (como neoplasia activa o arritmia) sin sacrificar los verdaderos positivos.

5. Significado y Conclusión

El trabajo demuestra que para tareas de extracción de información clínica con esparcidad extrema y requisitos de formato estrictos, no es necesario que un solo LLM gigante haga todo el trabajo.

• Reproducibilidad: Al delegar la lógica de negocio y la normalización a código determinista, el sistema es completamente auditable y reproducible.
• Eficiencia: Permite el uso de modelos locales pequeños y baratos, reduciendo costos y riesgos de privacidad.
• Estrategia General: La combinación de "Condensación Guiada por Esquema" + "Compilación Determinista" ofrece un marco robusto para aplicaciones de IA en entornos clínicos reales donde la precisión y el cumplimiento de normas son críticos.

El código y los scripts del compilador determinista se han hecho públicos (paquete llm_structcore) para fomentar la reproducibilidad en la comunidad de PLN clínico.