Privacy-Preserving Local Language Models for Longitudinal Data Retrieval in Chronic Dermatologic Disease: Implementation in Pemphigus Patients

Resumen Técnico: Modelos de Lenguaje Locales que Preservan la Privacidad para la Recuperación de Datos Longitudinales en el Pemfigo

Enunciado del Problema
Las enfermedades dermatológicas crónicas, como el pemfigo, requieren un seguimiento de por vida, lo que resulta en una documentación clínica longitudinal extensa y heterogénea. En la práctica habitual, los clínicos enfrentan desafíos significativos para sintetizar años de notas de visita redactadas por diferentes médicos con el fin de guiar las decisiones de manejo. La dependencia actual de revisiones parciales de historias clínicas o del copiado y pegado de documentación previa introduce variabilidad y aumenta el riesgo de pasar por alto detalles históricos críticos (por ejemplo, exposición previa a rituximab, toxicidad acumulada por corticosteroides o infecciones graves). Aunque la Inteligencia Artificial (IA) y los Modelos de Lenguaje Grandes (LLM) ofrecen potencial para la síntesis clínica, las soluciones existentes a menudo dependen de inferencias basadas en la nube, lo que plantea preocupaciones sobre la privacidad del paciente, la gobernanza de datos y la capacidad de implementación en entornos sanitarios estrictos. Además, la mayoría de los estudios se centran en textos cortos o tareas sintéticas en lugar de registros longitudinales reales de varios años.

Metodología
Esta serie de casos retrospectiva evaluó un sistema completamente local, que preserva la privacidad, basado en un Modelo de Lenguaje Pequeño (SLM), diseñado para recuperar características clínicas estructuradas y generar resúmenes longitudinales a partir de registros de seguimiento dermatológico sin procesar.

• Conjunto de datos: El estudio utilizó datos de 30 pacientes con pemfigo tratados en el Hospital de Investigación y Formación de Estambul. El conjunto de datos comprendió 541 notas de visita agregadas en 30 registros longitudinales completos (con un total de 89,336 palabras). No se aplicó síntesis manual ni preprocesamiento; las notas se extrajeron directamente del sistema de información hospitalaria (DermaBase).
• Verdad fundamental: Dos dermatólogos expertos anotaron 56 características clínicamente relevantes (categorías, numéricas y basadas en fechas) y generaron informes finales dirigidos a clínicos para cada paciente para servir como verdad fundamental.
• Modelo e implementación: El sistema empleó el modelo Qwen3 4B Thinking 2507, desplegado localmente en una estación de trabajo (RTX 4090, 24 GB de VRAM, 96 GB de RAM) mediante LM Studio. El acceso a Internet se desactivó para garantizar la privacidad de los datos.
• Procedimiento de inferencia:
  • El modelo procesó el registro longitudinal completo de cada paciente como una sola entrada (longitud de contexto de 90,000 tokens).
  • La inferencia se realizó en dos pasos: primero, recuperar 56 características estructuradas específicas; segundo, generar un informe de resumen en texto libre (current_status).
  • Para abordar la falta de entrenamiento del modelo en el dominio médico, se incrustó un contexto explicativo mínimo (por ejemplo, umbrales específicos de puntuación T para la osteoporosis) directamente en las indicaciones para las características que requerían definiciones estandarizadas.
  • El procedimiento de inferencia se repitió 10 veces por paciente para evaluar la estabilidad, resultando en un total de 16,800 inferencias.
• Evaluación:
  • Características estructuradas: Evaluadas utilizando la precisión de coincidencia exacta frente a las anotaciones de expertos.
  • Resúmenes en texto libre: Evaluados utilizando métricas automatizadas (BLEU, ROUGE) y una evaluación humana doble ciego por dos dermatólogos expertos (>20 años de experiencia) en una escala Likert de 10 puntos para la calidad general, la precisión clínica y la utilidad.

Resultados Clave

• Recuperación de características: El sistema logró una precisión media del 82.25% en 1,680 tareas de recuperación de características. El rendimiento varió según el tipo de datos:
  • Características categóricas: 86.34%
  • Características basadas en fechas: 80.56%
  • Características numéricas: 70.61% (los errores involucraron principalmente una extracción imprecisa en lugar de una mala clasificación grave).
• Generación de informes:
  • Las puntuaciones de similitud de texto automatizadas fueron moderadas (BLEU: 0.36; ROUGE-1: 0.52), siendo los informes generados por el modelo aproximadamente un 107% más largos que los informes de verdad fundamental debido al comentario explicativo adicional.
  • Evaluación de expertos: Los dermatólogos calificaron altamente los resúmenes generados por IA:
    • Calidad general: 8.23 – 8.47
    • Precisión clínica: 7.93 – 8.20
    • Utilidad clínica: 8.47 – 8.50
  • Preferencia: En el 53.3% de las evaluaciones (32/60), los expertos prefirieron el informe generado por IA sobre el informe de verdad fundamental generado por el clínico.
• Rendimiento: El sistema demostró velocidades de inferencia favorables (~130 tokens/segundo), lo que respalda un uso clínico casi en tiempo real.

Contribuciones Clave

1. Implementación que preserva la privacidad: El estudio demuestra la viabilidad de desplegar un SLM capaz completamente de forma local (sin conexión) para procesar registros de pacientes sensibles de varios años sin que los datos salgan de la infraestructura hospitalaria.
2. Síntesis longitudinal: A diferencia de trabajos anteriores centrados en notas de una sola visita, esta investigación valida la capacidad de un SLM para sintetizar información a lo largo de años de narrativas clínicas heterogéneas para extraer datos estructurados y generar resúmenes coherentes.
3. Evaluación del mundo real: La evaluación utilizó notas clínicas sin procesar y no estructuradas directamente de los sistemas hospitalarios, capturando desafíos del mundo real como la documentación inconsistente, los riesgos de alucinación y la necesidad de refinar las indicaciones para manejar ambigüedades clínicas (por ejemplo, distinguir entre "sospecha" y diagnóstico "confirmado").
4. Comportamiento específico de la tarea: Los hallazgos destacan que el modelo "Thinking" de Qwen3 es más adecuado para la síntesis narrativa y la generación de informes que para la extracción estrictamente estructurada, lo que sugiere que la selección del modelo debe estar impulsada por el flujo de trabajo clínico específico.

Significado y Afirmaciones
El artículo afirma que los SLM desplegados localmente que preservan la privacidad pueden generar de manera fiable resúmenes longitudinales clínicamente significativos y, en ciertas evaluaciones, superar o igualar a los expertos humanos en términos de preferencia y utilidad. Los autores posicionan estos sistemas no como tomadores de decisiones autónomos, sino como herramientas de apoyo para reducir la carga de trabajo y la carga cognitiva del clínico durante los seguimientos rutinarios.

El estudio concluye que, aunque los LM locales muestran promesa para la recuperación de datos longitudinales, su implementación en el mundo real requiere una ingeniería de indicaciones cuidadosa para mitigar las alucinaciones y abordar las inconsistencias en la documentación. Se propone trabajo futuro centrado en la evaluación prospectiva de la reducción de la carga de trabajo, la expansión a otras enfermedades crónicas y la integración de la Generación Aumentada por Recuperación (RAG) para mejorar aún más la factualidad. Los autores mantienen una postura modesta, reconociendo limitaciones como el diseño de un solo centro y la rareza de la enfermedad, lo que requiere conjuntos de datos multicéntricos más grandes para una validación más amplia.