If Only My CGM Could Speak: A Privacy-Preserving Agent for Question Answering over Continuous Glucose Data

1. Planteamiento del Problema

Los monitores continuos de glucosa (CGM) generan datos longitudinales densos y ricos que podrían mejorar significativamente el autocuidado de la diabetes. Sin embargo, las plataformas actuales (como Dexcom Clarity o LibreView) ofrecen únicamente resúmenes estáticos y predefinidos, lo que limita la capacidad de los usuarios para explorar sus propios datos mediante consultas inquisitivas.

El uso de Modelos de Lenguaje Grande (LLM) para permitir consultas en lenguaje natural presenta dos desafíos críticos:

1. Privacidad: Desplegar LLMs en la nube requiere enviar datos de salud sensibles a servidores externos, lo que viola la confidencialidad y plantea riesgos de seguridad.
2. Precisión: Los LLMs son propensos a errores numéricos y de razonamiento al procesar series temporales, lo que los hace poco fiables para cálculos médicos directos.

Existe una brecha entre la riqueza de los datos del CGM y la rigidez de las interfaces actuales, dejando a los pacientes sin información personalizada bajo demanda.

2. Metodología: CGM-Agent

Los autores proponen CGM-Agent, un marco modular de tres capas diseñado para responder preguntas sobre datos de glucosa personales sin que los datos crudos salgan nunca del dispositivo del usuario.

Principios de Diseño Clave:

• Separación de Razonamiento y Cálculo: El LLM actúa exclusivamente como un motor de razonamiento (interpreta la intención, resuelve ambigüedades y selecciona funciones). Todo el procesamiento numérico y el acceso a los datos ocurren en un entorno de ejecución local (sandbox).
• Privacidad por Diseño: El LLM nunca recibe lecturas de glucosa en bruto (series temporales). Solo recibe métricas agregadas o resultados de funciones ejecutadas localmente.

Arquitectura del Pipeline (3 Capas):

1. Procesador de Entrada (Input Processor):
   • Clasifica la viabilidad de la consulta (¿se puede responder solo con datos de CGM?).
   • Resuelve referencias temporales ambiguas (ej. "el fin de semana pasado") y normaliza descriptores vagos en variables precisas compatibles con el toolkit analítico.
   • Si la consulta requiere datos externos (ej. registros de insulina o comida) que no están disponibles, genera una justificación de rechazo.
2. Agente Analítico (Analytical Agent):
   • Descompone la consulta refinada en llamadas a funciones específicas.
   • Ejecuta estas llamadas en un sandbox local utilizando un Toolkit de Python personalizado.
   • El toolkit calcula métricas clínicas estandarizadas (Tiempo en Rango - TIR, media, desviación estándar) y detección de eventos (hipoglucemias, excursiones rápidas).
   • Devuelve solo los resultados numéricos agregados al LLM.
3. Generador de Respuestas (Response Generator):
   • Sintetiza los resultados numéricos en una respuesta natural, empática y clínica.
   • Incluye el contexto temporal analizado y sugiere alternativas si la consulta no es respondible.

3. Contribuciones Clave

1. Benchmark de QA Fundamentado (Grounded QA Benchmark):
   • Creación de un conjunto de datos de 4,180 preguntas que combina plantillas sintéticas (basadas en guías clínicas) y consultas de usuarios reales obtenidas mediante entrevistas.
   • Las "respuestas de verdad" (ground truth) se derivan de la ejecución determinista de un toolkit de Python, garantizando precisión matemática y reproducibilidad, en lugar de anotación humana.
2. Arquitectura de Agente Preservadora de Privacidad:
   • Un diseño de tres capas que aísla los datos sensibles en el dispositivo local, permitiendo respuestas personalizadas sin comprometer la privacidad.
3. Análisis Empírico de LLMs Aumentados con Herramientas:
   • Evaluación de 6 modelos líderes (privados y de peso abierto) que demuestra que los modelos ligeros pueden ser competitivos en este diseño, facilitando despliegues de bajo costo.

4. Resultados Experimentales

El estudio evaluó el rendimiento en consultas sintéticas (intención clara) y consultas del mundo real (ambiguas).

• Precisión en Consultas Sintéticas: Los modelos propietarios más avanzados alcanzaron una precisión de valor del 94% en consultas bien estructuradas. Modelos más pequeños (como GPT-5-Mini y Gemini 3.0 Flash) lograron un rendimiento comparable, sugiriendo que no se requieren modelos de frontera masivos para tareas de llamadas a herramientas bien definidas.
• Rendimiento en Consultas del Mundo Real:
  • La precisión general disminuyó (F1 ~0.64) debido principalmente a la ambigüedad de la intención y las referencias temporales implícitas, no a fallos computacionales.
  • La precisión de valor se mantuvo alta (>88% para los mejores modelos) una vez que el agente identificó correctamente la intención, confirmando que el cuello de botella es la desambiguación semántica, no el cálculo.
• Análisis de Errores:
  • Los errores se debieron principalmente a la interpretación de intenciones ambiguas (ej. "¿cómo estuvo mi glucosa ayer?" puede requerir métricas agregadas, detección de eventos o gráficos).
  • Se demostró que la variabilidad de la glucosa subyacente no afecta significativamente el rendimiento del agente.
• Estudio de Ablación: Eliminar el Procesador de Entrada (Capa 1) provocó una caída significativa en el F1 (-0.19), validando que la refinación semántica previa es esencial para manejar la ambigüedad del mundo real.
• Calidad de Respuesta: Las respuestas generadas tienen un nivel de lectura de 10º grado (Flesch-Kincaid), adecuado para la mayoría de los usuarios, aunque ligeramente superior a la recomendación médica estándar de 6º-8º grado debido a términos técnicos necesarios.

5. Significado e Impacto

Este trabajo demuestra que la privacidad y la utilidad en agentes de salud no son inherentemente contradictorias. CGM-Agent ofrece un caso de uso real que:

• Empodera a los pacientes: Permite explorar datos de salud complejos mediante lenguaje natural sin necesidad de descargar y procesar datos manualmente.
• Garantiza la seguridad: Al mantener los datos crudos locales y exponer solo métricas agregadas al modelo, se mitigan los riesgos de re-identificación y violación de datos.
• Establece un estándar: Proporciona un benchmark abierto y reproducible para evaluar agentes de salud, fomentando el desarrollo de sistemas de IA confiables y centrados en el paciente.

El código y el benchmark han sido liberados para apoyar trabajos futuros en agentes de salud confiables, invitando a la comunidad a construir sistemas que respeten la privacidad del paciente mientras ofrecen insights clínicos profundos.