💬 NLP

Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

El estudio demuestra que la estrategia de serialización de datos FHIR impacta significativamente en el rendimiento de los modelos de lenguaje grande para la reconciliación de medicamentos, recomendando el uso de narrativa clínica para modelos de hasta 8B parámetros y JSON crudo para modelos de 70B o más, mientras advierte que los modelos más pequeños tienen dificultades con pacientes polimedicados y que la preentrenamiento en dominio sin ajuste de instrucciones es insuficiente.

Autores originales: Sanjoy Pator

Publicado 2026-04-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sanjoy Pator

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que un hospital es como una estación de tren muy ocupada. Cada vez que un paciente cambia de tren (de un médico a otro, o al salir del hospital), hay una lista de "equipaje" que debe pasar con él: sus medicamentos. Si se olvida una pastilla, si se duplica la dosis o si se pone el nombre incorrecto, el paciente puede sufrir daños graves. A esto se le llama reconciliación de medicamentos.

Hasta ahora, hacer esta lista manualmente era como buscar una aguja en un pajar, propenso a errores humanos. Ahora, queremos usar Inteligencia Artificial (IA) para que lo haga por nosotros. Pero, ¿cómo le damos la información a la IA? ¿Le mostramos los datos tal cual los tiene el ordenador (un montón de código confuso) o le contamos una historia?

Este artículo es como un gran experimento de cocina para responder a esa pregunta.

El Experimento: ¿Cómo le servimos la comida a la IA?

Los investigadores tomaron 200 pacientes "ficticios" (creados por ordenador, pero muy realistas) con sus historiales médicos completos. Luego, probaron a 5 tipos de IAs (desde modelos pequeños y rápidos hasta uno gigante y muy inteligente) con 4 formas diferentes de presentarles la información:

El "Raw JSON" (El Código Crudo): Imagina que le das a la IA un libro entero escrito en código binario o en una lista de números y códigos extraños. Es la forma nativa de los ordenadores, pero muy difícil de leer para un humano o una IA pequeña.
La "Tabla Markdown" (La Lista de la Compra): Una tabla ordenada, como una hoja de cálculo, con columnas para el nombre, la dosis y la fecha.
La "Narrativa Clínica" (El Relato): Aquí es donde ocurre la magia. En lugar de código, la IA lee una historia en lenguaje natural: "El paciente toma Metformina todos los días, pero dejó la Aspirina hace dos años". Es como si un médico le contara la historia al siguiente médico.
La "Línea de Tiempo" (El Calendario): Una lista cronológica de todo lo que ha pasado, ordenado por fecha, sin separar lo que toma hoy de lo que tomó hace años.

Los Descubrimientos Sorprendentes

Aquí es donde la historia se pone interesante, porque la respuesta depende totalmente de qué tan "inteligente" (grande) sea la IA:

1. Para las IAs "Pequeñas" (Modelos de 7B a 8B parámetros)

Imagina a estas IAs como estudiantes universitarios brillantes pero con poca experiencia.

El problema: Si les das el "Código Crudo" (Raw JSON), se ahogan. Se pierden en los detalles técnicos y olvidan cosas importantes.
La solución: Si les cuentas la Historia (Narrativa Clínica), ¡funcionan de maravilla! Entienden el contexto, separan lo que es importante de lo que no, y cometen muchos menos errores.
La analogía: Es como pedirle a un estudiante que resuelva un problema de matemáticas. Si le das la fórmula en código de programación, se confunde. Si le explicas el problema con palabras sencillas, lo resuelve rápido.
Resultado: Para estas IAs, la forma de presentar los datos es lo más importante. Cambiar el formato puede mejorar su rendimiento en un 19% (¡casi un 20% más preciso!).

2. Para la IA "Gigante" (Modelo de 70B parámetros)

Imagina a esta IA como un genio con una memoria de elefante y un cerebro de superordenador.

El hallazgo: A este gigante no le importa si le das la historia o el código. Puede leer el "Código Crudo" (Raw JSON) y entenderlo perfectamente, incluso mejor que la historia.
La excepción: Sin embargo, incluso este genio tiene problemas si le das la "Línea de Tiempo" desordenada. Se confunde un poco con las fechas y las fechas pasadas.
Conclusión: Si tienes la IA más potente, puedes usar el formato original de los ordenadores. Pero si usas una IA más pequeña y rápida (que es lo que la mayoría de hospitales pueden permitirse), debes traducir los datos a una historia clara.

El Peligro Silencioso: Olvidar vs. Inventar

En el mundo de la IA, hay dos tipos de errores:

Alucinación (Inventar): La IA dice que el paciente toma un medicamento que nunca tomó.
Omisión (Olvidar): La IA olvida mencionar un medicamento que el paciente sí toma.

El estudio descubrió algo crucial para la seguridad del paciente: La IA tiende más a olvidar que a inventar.

En todos los casos, la IA era más precisa (no inventaba cosas) que completa (no olvidaba nada).
La analogía: Imagina que la IA es un ayudante que te da una lista de compras. Es muy probable que no invente un producto que no existe (no dirá "compra un elefante"), pero es muy probable que se olvide de escribir "leche".
Por qué importa: Esto cambia cómo debemos vigilar a la IA. No debemos preocuparnos tanto de que diga mentiras, sino de que no se le escape nada. El médico humano debe revisar la lista para preguntar: "¿Qué se te olvidó?".

El Techo de Cristal de los Modelos Pequeños

Hubo un límite duro para las IAs pequeñas. Cuando un paciente tenía entre 7 y 10 medicamentos activos a la vez (algo común en personas mayores con varias enfermedades), las IAs pequeñas empezaron a fallar estrepitosamente.

La analogía: Es como si un estudiante de primaria intentara recordar una lista de 10 palabras en un idioma extranjero. Puede recordar 3 o 4, pero se olvida del resto.
El riesgo: Los pacientes más peligrosos (los que toman muchos medicamentos) son precisamente los que las IAs pequeñas no pueden ayudar bien. Para ellos, se necesita el "genio gigante" (el modelo de 70B).

Una Advertencia Importante: El "Médico" que no sabe hablar

Probaron un modelo llamado BioMistral, que fue entrenado específicamente con millones de textos médicos (como si fuera un médico que ha leído todos los libros del mundo).

El resultado: Fue un desastre total. No entendió ninguna instrucción.
La lección: Saber mucho sobre medicina (conocimiento) no sirve de nada si no sabes cómo seguir instrucciones (capacidad de seguir órdenes). Una IA general que sabe seguir instrucciones funciona mejor que un "médico" que no sabe escuchar.

En Resumen: ¿Qué debemos hacer?

Este estudio nos da un mapa claro para el futuro:

Si usas una IA pequeña y rápida: No le des los datos crudos del ordenador. Tradúcelos a una historia clara y narrativa. Es como ponerle gafas a la IA para que pueda ver lo importante.
Si usas una IA gigante: Puedes usar los datos crudos, pero sigue siendo seguro.
La seguridad: Debemos vigilar que la IA no se olvide de nada (recordar), más que vigilar que no invente cosas.
Los pacientes complejos: Para los pacientes con muchos medicamentos, no podemos usar IAs pequeñas; necesitamos las más potentes.

En esencia, la forma en que le "hablamos" a la inteligencia artificial es tan importante como la inteligencia misma. A veces, una buena historia vale más que un código perfecto.

Resumen Técnico: Estrategias de Serialización y su Impacto en la Reconciliación de Medicamentos con LLMs

1. Planteamiento del Problema

La reconciliación de medicamentos en los traspasos clínicos es un proceso de alto riesgo propenso a errores, donde se comparan los historiales de medicación del paciente con nuevas prescripciones para evitar duplicidades, omisiones o interacciones. Aunque los Modelos de Lenguaje Grandes (LLM) se proponen cada vez más para automatizar esta tarea utilizando registros estructurados en FHIR (Fast Healthcare Interoperability Resources), existe una variable fundamental poco estudiada: cómo se serializa (formatea) el dato FHIR antes de pasarlo al modelo.

El estándar FHIR R4 utiliza un JSON profundamente anidado con códigos de ontología (RxNorm, SNOMED) en lugar de nombres legibles. Un solo historial completo puede exceder las ventanas de contexto actuales de los LLM. La pregunta central es: ¿El formato de presentación de estos datos (JSON crudo, tabla, narrativa clínica, línea de tiempo) afecta significativamente el rendimiento del modelo?

2. Metodología

Los autores diseñaron un experimento controlado riguroso para evaluar esta variable:

Datos: Se generó una cohorte sintética de 200 pacientes utilizando Synthea, un simulador de pacientes de código abierto. Cada paciente tiene al menos 10 años de historial médico y al menos un medicamento activo. El "ground truth" se define como el conjunto de nombres de medicamentos activos únicos.
Estrategias de Serialización (4):
1. JSON Crudo (A): Recursos MedicationRequest en JSON anidado e indentado (con un límite de 100 entradas para modelos pequeños).
2. Tabla Markdown (B): Datos aplanados en una tabla con columnas claras (Medicamento, Código, Estado, Dosis, etc.).
3. Narrativa Clínica (C): Cada medicamento convertido en una oración en inglés plano, con una sección explícita para "medicamentos activos actualmente" y otra para históricos.
4. Línea de Tiempo Cronológica (D): Todas las entradas ordenadas por fecha, sin separar explícitamente activos de históricos (requiere razonamiento temporal).
Modelos Evaluados (5): Se probaron 5 modelos de peso abierto (open-weight) en una instancia AWS con GPU NVIDIA L40S (48 GB VRAM) usando Ollama:
- Phi-3.5-mini (3.8B)
- Mistral-7B (7B)
- BioMistral-7B (7B, pre-entrenado en dominio médico pero sin ajuste de instrucciones)
- Llama-3.1-8B (8B)
- Llama-3.3-70B (70B)
Evaluación: Se realizaron 4,000 inferencias (200 pacientes × 4 estrategias × 5 modelos). Se midió Precisión, Recall y F1 usando coincidencia exacta de cadenas. Se utilizó la prueba de rangos con signo de Wilcoxon para el análisis estadístico.

3. Contribuciones Clave

El estudio aporta las siguientes contribuciones originales:

Benchmark Controlado: La primera comparación sistemática de estrategias de serialización FHIR en tareas de extracción de medicamentos.
Evidencia de Dependencia del Tamaño del Modelo: Demostración de que la estrategia óptima cambia drásticamente según el tamaño del modelo (parámetros).
Dominio de la Omisión sobre la Alucinación: Evidencia de que el error principal es omitir medicamentos (bajo Recall) en lugar de inventarlos (baja Precisión), lo que redefine los protocolos de auditoría de seguridad clínica.
Techo de Capacidad: Identificación de un límite duro en modelos pequeños (7-8B) para pacientes con polifarmacia (>7-10 medicamentos activos).
Insuficiencia del Pre-entrenamiento de Dominio: Demostración de que el pre-entrenamiento en textos médicos (BioMistral) sin ajuste de instrucciones (instruction tuning) resulta en un fallo catastrófico para tareas estructuradas.

4. Resultados Principales

Efecto de la Estrategia de Serialización:
- Modelos Pequeños (≤8B): La estrategia Narrativa Clínica (C) es superior. Por ejemplo, en Mistral-7B, la Narrativa Clínica superó al JSON Crudo en 19 puntos F1 (0.9149 vs 0.7247), con una significancia estadística muy alta ( $p < 10^{-10}$ ).
- Modelos Grandes (70B): La tendencia se invierte. Llama-3.3-70B obtuvo el mejor rendimiento con JSON Crudo (A) (F1 = 0.9956), superando ligeramente a la Narrativa Clínica. Los modelos grandes pueden manejar la estructura JSON nativa sin necesidad de reorganización.
- Línea de Tiempo (D): Fue la estrategia peor para el modelo de 70B, sugiriendo que el razonamiento temporal complejo sigue siendo difícil incluso para modelos grandes.
Fallo Catastrófico de BioMistral:
- El modelo BioMistral-7B obtuvo un F1 de 0.0000 en todas las condiciones. A pesar de tener conocimiento médico, la falta de ajuste de instrucciones (instruction tuning) provocó que el modelo no siguiera el prompt, generando texto incoherente o repitiendo el sistema. Esto demuestra que el conocimiento de dominio no es suficiente sin la capacidad de seguir instrucciones estructuradas.
Omisión vs. Alucinación:
- En todas las 20 combinaciones (modelo × estrategia), la Precisión media superó al Recall medio.
- Conclusión: Los modelos tienden a omitir medicamentos activos más a menudo de lo que inventan medicamentos falsos.
- Implicación Clínica: La salida del modelo debe tratarse como un subconjunto "confiable" pero incompleto. La auditoría humana debe centrarse en "¿qué se perdió?" (completitud) en lugar de "¿es correcto lo que dice?" (exactitud).
Techo de Capacidad en Polifarmacia:
- Los modelos de 7B y 8B muestran un colapso drástico en el Recall cuando el paciente tiene más de 7-10 medicamentos activos simultáneos.
- El modelo de 70B mantiene un Recall casi perfecto incluso con 16 medicamentos activos.
- El fallo no se debe a la longitud del historial (años de datos), sino a la capacidad de generación de salida para enumerar todos los elementos activos.

5. Significado y Recomendaciones Prácticas

El estudio concluye que la elección del formato de datos no es una decisión cosmética, sino una variable de rendimiento crítica con efectos clínicos significativos:

Para modelos de 7B-8B: Se debe utilizar Narrativa Clínica como configuración predeterminada. Esto ofrece una mejora sustancial en el rendimiento sin costo adicional de entrenamiento.
Para modelos de 70B+: El JSON Crudo es preferible por simplicidad y rendimiento marginalmente superior, aunque la diferencia es menor.
Auditoría de Seguridad: Los sistemas de reconciliación deben priorizar la Recall (completitud) sobre la Precisión. El flujo de trabajo clínico debe diseñarse para que los profesionales verifiquen qué medicamentos el modelo no incluyó.
Selección de Modelos: Para pacientes con polifarmacia compleja, el tamaño del modelo es más crítico que la estrategia de serialización; los modelos pequeños (<8B) no son adecuados para estos casos de alto riesgo.
Advertencia sobre Modelos de Dominio: No se deben utilizar modelos base pre-entrenados en medicina (como BioMistral) para tareas de extracción estructurada a menos que hayan sido ajustados con instrucciones (instruction-tuned).

Reproducibilidad: Todo el pipeline es de código abierto, utilizando Synthea, Ollama y ejecutándose en una sola instancia de GPU (AWS g6e.xlarge), permitiendo la replicación completa de los resultados sin APIs propietarias.