Can a constrained AI clinical decision-support pipeline generate meal plans rated as highly as dietitian-designed plans? A blinded professional evaluation

Resumo Técnico: IA com Restrições vs. Planejamento Alimentar por Nutricionistas

Definição do Problema
O desafio central abordado é a confiabilidade de Grandes Modelos de Linguagem (LLMs) no planejamento dietético clínico. Embora os LLMs demonstrem fluência em consultas de saúde, eles frequentemente falham em entregar a precisão exigida para planos alimentares, que devem operacionalizar o processo de cuidado nutricional, traduzindo objetivos, restrições e metas específicas em alimentos, porções e instruções precisas. LLMs genéricos frequentemente produzem conteúdo de aparência autoritária, mas impreciso em relação à adequação numérica, alimentos contraindicados e realismo de porções. O artigo postula que a confiabilidade não deve ser esperada do modelo isoladamente, mas sim projetada na arquitetura do sistema ao restringir as escolhas do modelo e fundamentar os resultados quantitativos em um banco de dados de composição de alimentos.

Metodologia
O estudo empregou um desenho comparativo transversal, baseado na web e com cegamento mútuo, para avaliar um "pipeline assistido por IA com restrições" contra planos reais elaborados por nutricionistas.

• Arquitetura do Sistema: O sistema de IA avaliado (pipeline de pesquisa NextNutri) era um fluxo de trabalho de software de múltiplas etapas e fixo, distinto de um chatbot de texto livre. Utilizava um processo sequencial: geração de blueprint, seleção qualitativa de alimentos, seleção quantitativa de porções e validação. Crucialmente, o LLM (utilizando modelos das famílias Claude e Gemini) não gerava pesos em gramas diretamente. Em vez disso, selecionava categorias de porções (pequena, média, grande) de uma tabela de backend, enquanto um backend determinístico computava o peso exato em gramas, medidas caseiras e totais de nutrientes usando a Tabela Brasileira de Composição de Alimentos (TBCA v7.3). O pipeline incluía verificações de segurança automatizadas para conformidade de restrições e tolerâncias de nutrientes.
• Corpus: O corpus de avaliação consistiu em 10 planos alimentares (5 personas × 2 origens). Cinco personas (P1–P5) variavam por demografia, nível de atividade e objetivos dietéticos (ex: perda de peso, ganho de massa muscular, vegano, intolerância à lactose). Para cada persona, um plano foi gerado pelo pipeline de IA com restrições e um plano real foi exportado de um software profissional de nutrição. Os planos humanos foram preservados com suas discrepâncias originais (ex: incompatibilidades calóricas) para garantir uma comparação realista.
• Participantes: 54 nutricionistas brasileiros ativos (registrados no CRN) foram recrutados via amostragem por conveniência e bola de neve.
• Protocolo de Avaliação: Os avaliadores classificaram os planos em uma escala Likert de 9 itens e 5 pontos, abrangendo três domínios: Adequação Nutricional, Qualidade Técnica e Aplicabilidade Prática. O estudo foi cego; os avaliadores não sabiam a origem dos planos. Uma tarefa secundária envolveu uma comparação pareada onde os avaliadores tentavam identificar o plano gerado por IA.
• Análise Estatística: A análise focou em diferenças dentro do mesmo avaliador (testes t pareados) e comparações ao nível do plano (pareadas por persona). As análises de sensibilidade incluíram modelos de efeitos mistos lineares e ajustes para erros de meta calórica.

Principais Resultados

• Classificações Gerais: Os planos gerados por IA foram classificados significativamente acima dos planos desenhados por nutricionistas. A pontuação média geral para os planos de IA foi de 3,65 (DP 0,56) comparada a 3,12 (DP 0,73) para os planos de nutricionistas (diferença de +0,53, P < 0,001, Cohen's d = 0,82).
• Desempenho por Domínio:
  • Adequação Nutricional: Os planos de IA pontuaram significativamente mais alto (+0,74 de diferença), impulsionados principalmente pelo melhor alinhamento com as metas de energia e macronutrientes.
  • Qualidade Técnica: Os planos de IA pontuaram mais alto (+0,66 de diferença), refletindo uma coerência científica e adesão à segurança superiores.
  • Aplicabilidade Prática: Não foi encontrada diferença estatisticamente significativa (+0,20 de diferença), indicando que os planos de IA foram percebidos como tão viáveis e práticos quanto os planos humanos.
• Verificação de Cegamento: Os avaliadores falharam em identificar a origem da IA em uma taxa melhor do que o acaso. Em palpites definitivos, os planos de IA foram identificados corretamente apenas 34,1% das vezes (P = 0,060, dois-caudas). Os autores observam uma atribuição sistemática errônea onde os avaliadores tendiam a rotular o plano de maior qualidade como sendo de autoria humana.
• Robustez: A vantagem dos planos de IA persistiu através das análises de sensibilidade, incluindo a exclusão de uma persona com uma incompatibilidade de meta documentada no plano humano e ao ajustar para erro calórico. Os resultados mantiveram-se verdadeiros mesmo ao restringir a análise a avaliadores com pelo menos dois anos de experiência clínica.

Significância e Alegações
O artigo afirma que um pipeline com restrições, que delega cálculos quantitativos para código determinístico e um banco de dados de alimentos enquanto utiliza LLMs para seleção qualitativa, pode produzir planos alimentares que nutricionistas praticantes classificam como tão bons quanto, ou superiores aos planos desenhados por humanos sob condições cegas.

Os autores explicitamente contextualizam esses achados com cautela:

1. Design do Sistema sobre Capacidade do Modelo: O sucesso é atribuído à arquitetura do sistema (restringir escolhas e fundamentar dados) e não à capacidade inerente do LLM isoladamente.
2. Aumento, Não Substituição: O estudo apoia um fluxo de trabalho de "supervisão com humano no circuito" (human-in-the-loop), onde a IA serve como um gerador de primeiro rascunho. Não se afirma superioridade clínica ou capacidade de prescrição autônoma.
3. Limitações: Os autores reconhecem o tamanho de amostra modesto (5 pares de planos), o uso de uma amostra de conveniência e o fato de que as personas eram geralmente adultos saudáveis sem comorbidades complexas. Eles afirmam que os achados não devem ser extrapolados para casos clínicos complexos sem validação adicional.

Em conclusão, o estudo demonstra que, com as restrições arquiteturais apropriadas, a IA pode gerar planos alimentares nutricionalmente e tecnicamente sólidos que são indistinguíveis do trabalho humano para profissionais, sugerindo um caminho viável para a IA aumentar, em vez de substituir, os fluxos de trabalho dietéticos.