LLM StructCore: Schema-Guided Reasoning Condensation and Deterministic Compilation

Resumo Técnico: LLM StructCore

1. Problema e Contexto

O artigo aborda o desafio de preencher automaticamente Formulários de Relato de Casos (CRFs) a partir de notas clínicas não estruturadas, especificamente no contexto da tarefa de preenchimento de CRF para Dispneia (dificuldade respiratória) na competição CL4Health 2026.

• Desafios Principais:
  • Extrema Esparsidade: A maioria dos 134 campos do formulário está ausente ou desconhecida nas notas (mediana de apenas ~12 itens conhecidos por documento).
  • Contratos de Saída Rígidos: O sistema deve gerar um JSON válido e seguir uma vocabulário controlado estrito.
  • Custo de Falsos Positivos (FP): O sistema de pontuação penaliza severamente tanto valores vazios incorretos quanto previsões não suportadas por evidências (alucinações).
  • Instabilidade de LLMs: Modelos de Linguagem (LLMs) tradicionais frequentemente falham na formatação (JSON inválido) ou geram "alucinações" ao tentar extrair todos os 134 campos de uma só vez.

2. Metodologia: Pipeline de Duas Etapas

A proposta central é uma arquitetura de Decomposição Guiada por Esquema (SGR - Schema-Guided Reasoning) que separa a extração de informações clínicas da validação e normalização estrita. O pipeline consiste em duas etapas distintas:

Etapa 1: Resumo JSON Guiado por Esquema (LLM)

• Objetivo: Condensar a nota clínica em um objeto JSON estável e esparsamente preenchido.
• Estrutura: O LLM é instruído a produzir um JSON com exatamente 9 chaves de domínio (ex: Demografia, Sinais Vitais, Exames, Problemas, Sintomas, Medicamentos, Procedimentos, Utilização, Disposição).
• Padrões SGR:
  • Cascata (Scaffold): O modelo segue uma sequência fixa de domínios para garantir cobertura uniforme.
  • Ciclo (Checklists): Prompts forçam a verificação de itens críticos dentro de cada domínio.
  • Roteamento: O modelo gera texto livre dentro das chaves, mas sem tentar mapear diretamente para os 134 itens finais.
• Inovação Técnica: O sistema alcança 100% de sucesso na análise de JSON (parse) sem necessidade de decodificação restrita por gramática (como XGrammar), permitindo o uso de modelos menores e quantizados (ex: 4B parâmetros) em ambientes de borda.
• Estratégia de Entrada: Para notas longas, utiliza-se uma estratégia de "multi-slice" (janelas sobrepostas) que são processadas independentemente e mescladas, preservando a recuperação (recall) de fatos dispersos.

Etapa 2: Compilador Determinístico (0-LLM)

• Objetivo: Transformar o resumo JSON da Etapa 1 no formato final de 134 itens, garantindo conformidade total.
• Processo (Sem uso de LLM):
  1. Extração KV: Parseia as linhas "Chave: Valor" do JSON da Etapa 1.
  2. Canonização: Normaliza nomes de itens usando correspondência exata, expansão de abreviações (70+ regras) e um mapa de sinônimos baseado em UMLS (cobertura de 134/134 itens).
  3. Portões de Falsos Positivos (FP-Gates): Aplica filtros baseados em regex e lógica de derivação. Exemplo: Se a nota menciona "histórico familiar de câncer" mas não "quimioterapia" ou "progressão", o item "neoplasia ativa" é bloqueado para evitar FP.
  4. Normalização de Vocabulário: Mapeia os valores para 13 categorias controladas (binário, AVPU, escala de 4 classes, etc.) e preenche os itens ausentes como "desconhecido".

3. Contribuições Principais

• Arquitetura Híbrida Estável: A separação entre a extração semântica (LLM) e a validação lógica (código determinístico) resolve o problema de instabilidade de formato e alucinações.
• Eficiência em Edge AI: Demonstra que modelos pequenos e quantizados (ex: MedGemma 4B) podem ser eficazes se o esquema de saída for simplificado (9 chaves) e a complexidade for delegada ao compilador determinístico. Isso permite implantação local e privacidade de dados.
• Agnosticismo Linguístico: O pipeline funciona para Inglês e Italiano sem engenharia específica de linguagem na Etapa 1, utilizando apenas mapeamento de sinônimos na Etapa 2.
• Reprodutibilidade Total: A Etapa 2 garante que a mesma entrada produza exatamente a mesma saída, eliminando a variabilidade estocástica típica de LLMs.

4. Resultados Experimentais

Os resultados foram avaliados no conjunto de desenvolvimento (dev80) e no teste oculto (test200) via Codabench.

• Desempenho no Conjunto de Desenvolvimento (dev80):
  • Inglês (EN): O melhor modelo (Mistral Large 3) alcançou F1 Macro = 0.6543.
  • Italiano (IT): O desempenho foi superior, com F1 Macro = 0.6905. Os autores atribuem isso à estrutura mais formal e formulaica das notas clínicas italianas originais, facilitando a extração.
  • Análise de Erros: A maioria dos erros (>85%) ocorre na Etapa 1 (falta de extração de fatos), confirmando que o compilador determinístico não é o gargalo. Os "Portões de FP" reduziram falsos positivos em itens de alto risco (ex: neoplasia ativa) em ~70%.
• Resultados no Teste Oculto (test200):
  • A variante enviada em Inglês alcançou F1 = 0.63, ficando a apenas 0.05 do primeiro colocado (F1 = 0.68).
  • A variante italiana foi preparada com F1 de 0.6905 no desenvolvimento, mas não pôde ser submetida devido ao limite de tentativas.
• Comparação de Modelos: Modelos grandes (Mistral Large 3, Qwen 3.5) geraram mais Verdadeiros Positivos (TP), mas também mais Falsos Positivos. Modelos menores (MedGemma 4B) foram mais conservadores, gerando menos FPs, mas com recall ligeiramente menor.

5. Significância e Conclusão

O LLM StructCore demonstra que a combinação de Raciocínio Guiado por Esquema (SGR) com Compilação Determinística é uma estratégia robusta para tarefas de extração de informações clínicas de alta precisão e baixa tolerância a erros.

• Impacto Prático: Permite o uso de modelos de IA em ambientes locais (hospitais) sem depender de APIs externas, garantindo privacidade e conformidade com regulamentos de dados.
• Generalização: A abordagem é facilmente adaptável a outros domínios clínicos e idiomas, desde que se disponha de um mapa de sinônimos (UMLS) e regras de validação determinísticas.
• Futuro: Trabalhos futuros focarão em melhorar o recall da Etapa 1 para itens raros e explorar abordagens híbridas para itens que exigem raciocínio contextual complexo.

Em suma, o trabalho propõe uma mudança de paradigma: em vez de forçar o LLM a ser o "perito" em todas as regras de negócio e formatação, o LLM atua como um condensador de fatos, enquanto um compilador de código garante a integridade estrutural e a precisão clínica.