Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

Resumen Técnico: Piensa Rápido, Habla Inteligente (TFTS)

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para generar texto de salud a partir de registros estructurados (por ejemplo, series temporales de dispositivos portátiles, biomarcadores, registros de atención). Aunque los LLM destacan en fluidez, las tareas recurrentes de generación de salud exigen una adhesión estricta a los datos de origen, afirmaciones fundamentadas en evidencia, cumplimiento de políticas y salidas legibles por máquina. El problema central abordado es determinar qué responsabilidades en este pipeline deben ser gestionadas por cálculo determinista versus solicitud de LLM en tiempo de ejecución. Los enfoques actuales suelen depender de solicitudes de un solo llamado (zero-shot o few-shot) para realizar toda la tarea analítica y lingüística, arriesgando alucinaciones numéricas, violaciones de políticas y mayores costos.

Metodología
Los autores introducen Piensa Rápido, Habla Inteligente (TFTS), un marco de partición para la generación de insights de salud del sueño. El sistema descompone la tarea en cuatro etapas distintas:

1. Entradas Estructuradas: Ingesta de señales derivadas de dispositivos portátiles (sueño, recuperación, fisiología, comportamiento).
2. Módulos Analíticos Deterministas: Capas basadas en código gestionan tareas de razonamiento recurrentes y verificables, incluyendo:
   • Comparación: Comparaciones numéricas contra líneas base.
   • Clasificación: Selección de qué métricas destacar basándose en reglas.
   • Atribución: Control de afirmaciones explicativas basándose en la evidencia disponible.
   • Traspaso: Compilación de hechos seleccionados en una interfaz compacta y restringida por esquema.
3. Escritor de LLM Acotado: Un único llamado a LLM que toma la interfaz determinista y genera prosa orientada al usuario, estrictamente restringida por los hechos y el esquema proporcionados.
4. Evaluación Determinista: Análisis y verificación automatizados de la salida final.

Para evaluar la necesidad de esta partición, los autores emplean un Protocolo de Reemplazo de Capas. En lugar de comparar el sistema completo contra un prompt monolítico, reemplazan sistemáticamente capas deterministas individuales (Comparación, Clasificador, Atribución, Traspaso) con artefactos tipificados generados por LLM. Esto aísla modos de fallo específicos, probando si un LLM puede preservar el significado intencionado de un paso analítico intermedio más allá de simplemente producir JSON sintácticamente válido.

Configuración Experimental

• Conjunto de datos: 280 noches de usuario de 20 usuarios activos.
• Modelos: Se evaluaron seis LLM (GPT-5 nano, GPT-4o mini, GPT-OSS-20B/120B, Haiku 4.5, Sonnet 4.6).
• Líneas base:
  • Zero-Shot Estructurado: Datos crudos y reglas en un solo prompt.
  • Few-Shot Estructurado: Incluye tablas de métricas y ejemplos en un solo prompt.
• Métricas: Tasa de Error Numérico (NUMERR), Error de Cumplimiento de Instrucciones (SELERR + ATTRERR), Error de Esquema (SCHEMAERR) y costo de extremo a extremo.

Resultados Clave

1. Frontera Error-Costo: TFTS ocupa consistentemente la región de bajo costo y bajo error en los seis modelos. Logró un NUMERR promedio de 0.7% (peor modelo 2.0%) y un error de cumplimiento de instrucciones inferior al 3%. Por el contrario, las líneas base de un solo llamado no lograron recuperar esta frontera; Few-Shot Estructurado mejoró la adherencia al esquema pero aún exhibió altos errores agregados de selección (68.6%) y errores numéricos.
2. Hallazgos de Reemplazo de Capas:
   • Reemplazar Comparación: Delega la observación numérica al LLM, causando que NUMERR se dispare al 16.9%.
   • Reemplazar Clasificador: Mantiene los hechos fundamentados pero degrada la adherencia a las reglas de selección, resultando en un 65.8% de error de selección.
   • Reemplazar Atribución: Aumenta el lenguaje causal no respaldado, con errores de atribución que ascienden al 24.5%.
   • Reemplazar Traspaso: Incluso cuando los hechos aguas arriba son deterministas, reemplazar la interfaz compacta de evidencia a escritor reintroduce errores (NUMERR 4.8%, ATTRERR 10.7%), indicando que la interfaz en sí misma es un mecanismo de fiabilidad.
3. Eficiencia de Costos: TFTS logra costos de extremo a extremo más bajos que las líneas base al utilizar un único llamado a LLM acotado en lugar de depender de prompts complejos de múltiples pasos o refinamiento iterativo dentro de un solo llamado.

Significado y Afirmaciones
El artículo argumenta que, para cargas de trabajo de salud estructuradas con reglas analíticas recurrentes, el código determinista debe asumir el análisis, mientras que los LLM deben limitarse a expresar hechos verificados dentro de interfaces acotadas.

• Regla de Diseño: "Permite que el código piense rápido sobre hechos y políticas estables, luego permite que el LLM hable inteligentemente dentro de límites verificados".
• Modos de Fallo: El estudio revela que responsabilidades analíticas específicas (aritmética, política de clasificación, control de evidencia) son propensas al fallo cuando se delegan a LLM, incluso cuando el LLM produce salidas sintácticamente correctas.
• Alcance: Los autores posicionan esto como un enfoque complementario a la Generación Aumentada por Recuperación (RAG) y al uso de herramientas. Mientras que esos métodos mejoran la recuperación de contexto o las llamadas aprendidas, TFTS aborda qué responsabilidades deben eliminarse por completo de la solicitud en tiempo de ejecución.
• Limitaciones: El estudio se centra en la preservación de un sistema de referencia determinista, no en la optimidad clínica o el diagnóstico abierto. El principio de partición es más aplicable a dominios con entradas estructuradas, reglas estables e intermedios verificables (por ejemplo, resultados de laboratorio, monitoreo de signos vitales), en lugar de tareas que requieren razonamiento clínico abierto.

Los autores concluyen que confiar en solicitudes de un solo llamado para la generación de salud estructurada es insuficiente para la fiabilidad y la eficiencia de costos, abogando por una arquitectura híbrida donde el código gestiona el "pensamiento" y los LLM gestionan el "hablar".