Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

Resumo Técnico: Pense Rápido, Fale Inteligentemente (TFTS)

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para gerar textos de saúde a partir de registros estruturados (por exemplo, séries temporais de dispositivos vestíveis, biomarcadores, registros de cuidado). Embora os LLMs se destaquem na fluência, tarefas recorrentes de geração de saúde exigem adesão estrita aos dados de origem, alegações fundamentadas em evidências, conformidade com políticas e saídas legíveis por máquina. O problema central abordado é determinar quais responsabilidades neste pipeline devem ser tratadas por cálculo determinístico versus solicitação de LLM em tempo de execução. As abordagens atuais frequentemente dependem de solicitações de chamada única (zero-shot ou few-shot) para realizar toda a tarefa analítica e linguística, arriscando alucinações numéricas, violações de políticas e custos mais elevados.

Metodologia
Os autores introduzem o Pense Rápido, Fale Inteligentemente (TFTS), um framework de partição para geração de insights de saúde do sono. O sistema decompõe a tarefa em quatro estágios distintos:

1. Entradas Estruturadas: Ingestão de sinais derivados de dispositivos vestíveis (sono, recuperação, fisiologia, comportamento).
2. Módulos Analíticos Determinísticos: Camadas baseadas em código lidam com tarefas de raciocínio recorrentes e verificáveis, incluindo:
   • Comparação: Comparações numéricas contra baselines.
   • Classificação: Seleção de quais métricas destacar com base em regras.
   • Atribuição: Controle de alegações explicativas com base nas evidências disponíveis.
   • Transferência: Compilação de fatos selecionados em uma interface compacta e restrita por esquema.
3. Escritor LLM Delimitado: Uma única chamada de LLM que recebe a interface determinística e gera prosa voltada para o usuário, estritamente restrita pelos fatos e esquema fornecidos.
4. Avaliação Determinística: Análise e verificação automatizadas da saída final.

Para avaliar a necessidade dessa partição, os autores empregam um Protocolo de Substituição de Camada. Em vez de comparar o sistema completo com um prompt monolítico, eles substituem sistematicamente camadas determinísticas individuais (Comparação, Classificador, Atribuição, Transferência) por artefatos tipados gerados por LLM. Isso isola modos de falha específicos, testando se um LLM pode preservar o significado pretendido de uma etapa analítica intermediária além de meramente produzir JSON sintaticamente válido.

Configuração Experimental

• Conjunto de Dados: 280 noites de usuário de 20 usuários ativos.
• Modelos: Seis LLMs foram avaliados (GPT-5 nano, GPT-4o mini, GPT-OSS-20B/120B, Haiku 4.5, Sonnet 4.6).
• Baselines:
  • Zero-Shot Estruturado: Dados brutos e regras em um único prompt.
  • Few-Shot Estruturado: Inclui tabelas de métricas e exemplos em um único prompt.
• Métricas: Taxa de Erro Numérico (NUMERR), Erro de Conformidade com Instruções (SELERR + ATTRERR), Erro de Esquema (SCHEMAERR) e custo ponta a ponta.

Principais Resultados

1. Fronteira Erro-Custo: O TFTS ocupa consistentemente a região de baixo custo e baixo erro em todos os seis modelos. Ele alcançou uma NUMERR média de 0,7% (pior modelo 2,0%) e erro de conformidade com instruções abaixo de 3%. Em contraste, as baselines de chamada única não conseguiram recuperar essa fronteira; o Few-Shot Estruturado melhorou a adesão ao esquema, mas ainda exibiu altos erros agregados de seleção (68,6%) e erros numéricos.
2. Descobertas de Substituição de Camada:
   • Substituindo a Comparação: Delega a observação numérica ao LLM, fazendo com que a NUMERR dispare para 16,9%.
   • Substituindo o Classificador: Mantém os fatos fundamentados, mas degrada a adesão às regras de seleção, resultando em 65,8% de erro de seleção.
   • Substituindo a Atribuição: Aumenta a linguagem causal não suportada, com erros de atribuição subindo para 24,5%.
   • Substituindo a Transferência: Mesmo quando os fatos a montante são determinísticos, substituir a interface compacta de evidências para o escritor reintroduz erros (NUMERR 4,8%, ATTRERR 10,7%), indicando que a interface em si é um mecanismo de confiabilidade.
3. Eficiência de Custo: O TFTS alcança custos ponta a ponta mais baixos que as baselines ao utilizar uma única chamada de LLM delimitada, em vez de depender de prompts complexos de múltiplas etapas ou refinamento iterativo dentro de uma única chamada.

Significado e Alegações
O artigo argumenta que, para cargas de trabalho de saúde estruturadas com regras analíticas recorrentes, código determinístico deve assumir a análise, enquanto LLMs devem ser restritos a expressar fatos verificados dentro de interfaces delimitadas.

• Regra de Design: "Deixe o código pensar rápido sobre fatos e políticas estáveis e, em seguida, deixe o LLM falar inteligentemente dentro de limites verificados."
• Modos de Falha: O estudo revela que responsabilidades analíticas específicas (aritmética, política de classificação, controle de evidências) são propensas a falhas quando delegadas a LLMs, mesmo quando o LLM produz saídas sintaticamente corretas.
• Escopo: Os autores posicionam isso como uma abordagem complementar à Geração Aumentada por Recuperação (RAG) e uso de ferramentas. Enquanto esses métodos melhoram a recuperação de contexto ou chamadas aprendidas, o TFTS aborda quais responsabilidades devem ser removidas completamente da solicitação em tempo de execução.
• Limitações: O estudo foca na preservação de um sistema de referência determinístico, não na otimização clínica ou diagnóstico aberto. O princípio de partição é mais aplicável a domínios com entradas estruturadas, regras estáveis e intermediários verificáveis (por exemplo, resultados de laboratório, monitoramento de sinais vitais), em vez de tarefas que exigem raciocínio clínico aberto.

Os autores concluem que confiar em solicitações de chamada única para geração estruturada de saúde é insuficiente para confiabilidade e eficiência de custos, defendendo uma arquitetura híbrida onde o código lida com o "pensamento" e os LLMs lidam com o "falar".