Large language models miss protein quality in vegan meals

Resumo Técnico: Modelos de Linguagem de Grande Escala Falham na Qualidade Proteica em Refeições Veganas

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) de uso geral são cada vez mais utilizados para o planejamento de refeições, porém sua confiabilidade nutricional, particularmente no que diz respeito à qualidade da proteína, permanece não testada. Esta lacuna é crítica à medida que ocorrem mudanças dietéticas em direção à alimentação baseada em plantas; sem a combinação deliberada de proteínas vegetais, essas dietas frequentemente resultam em proteínas de menor qualidade. Os riscos são intensificados para adultos mais velhos, cuja preservação da massa muscular e o combate à sarcopenia dependem da ingestão adequada de aminoácidos indispensáveis (IAAs) ao nível da refeição, e não apenas nos totais diários. Embora as proteínas vegetais variem em composição de IAA e digestibilidade, as avaliações atuais de LLMs na nutrição clínica são amplamente qualitativas, carecendo de validação contra benchmarks quantitativos específicos do domínio, como o Meal Protein Quality Score (MPQS - Pontuação de Qualidade Proteica da Refeição).

Metodologia
O estudo conduziu o primeiro benchmark de nível de refeição, resolvido por aminoácidos, de dois LLMs de última geração: ChatGPT (OpenAI, GPT-5.4) e Claude (Anthropic, Claude Opus 4.6).

• Protocolo de Geração: Cada modelo gerou 250 receitas de jantar veganas de porção única para adultos mais velhos, totalizando 500 receitas. A geração foi distribuída deterministicamente entre 25 inspirações de culinária e 10 formatos de refeição para variar o enquadramento cultural e de formato de prato, mantendo a tarefa de otimização constante.
• Restrições: O comando solicitou receitas com ≥20 g de proteína por porção e "boa qualidade proteica" por meio de combinações inteligentes de proteínas vegetais. Foram explicitamente excluídos suplementos, produtos fortificados e substitutos de refeição. O comando foi minimalista, evitando instruções prescritivas sobre como alcançar a qualidade, para refletir o uso realista por profissionais.
• Avaliação: Os ingredientes foram mapeados para o Banco de Dados de Composição de Alimentos Holandês (NEVO) e processados através da Alpha-Tool. Esta ferramenta calcula o MPQS, que integra a ingestão de IAA ajustada pela digestibilidade, proteína total e requisitos personalizados para um adulto mais velho de referência. Uma pontuação ≥100 indica qualidade proteica adequada.
• Análise Estatística: As comparações utilizaram testes t de Welch para variáveis contínuas e testes exatos de Fisher para resultados binários (cumprimento dos limiares de qualidade). A regressão linear avaliou os efeitos da culinária e do formato da refeição no MPQS.

Principais Resultados

• Quantidade de Proteína vs. Qualidade: Todas as 500 receitas geradas cumpriram a meta de quantidade de proteína (≥20 g). No entanto, uma parte significativa falhou no limiar de qualidade (MPQS ≥ 100). O ChatGPT atingiu a meta de qualidade em 81,2% dos casos, enquanto o Claude alcançou apenas 59,6%. Consequentemente, 18,8% das receitas do ChatGPT e 40,4% das receitas do Claude cumpriram as metas de quantidade, mas eram nutricionalmente inadequadas em relação à composição de aminoácidos.
• Divergência Estratégica: Os modelos empregaram estratégias distintas. O ChatGPT baseou-se fortemente no tofu (97,2% das receitas), uma fonte de proteína quase completa, resultando em maior média de proteína (38,5 g) e maior MPQS (118,8). Em contraste, o Claude utilizou uma gama mais diversa de ingredientes, incluindo nozes, sementes e ervilhas, mas caiu mais frequentemente na "armadilha da complementaridade clássica". A metionina foi o aminoácido limitante dominante, restringindo 40,4% das receitas do Claude comparado a 19,6% das do ChatGPT.
• Variabilidade Cultural e de Formato: A qualidade da refeição dependeu fortemente do enquadramento cultural. Receitas inspiradas nas culinárias japonesa, indonésia, coreana e tailandesa, bem como curries e pratos de grãos, alcançaram os maiores MPQS. Por outro lado, as culinárias turca, espanhola e caribenha, juntamente com sopas e ensopados, produziram os menores escores. Isso indica que comandos culturalmente enquadrados levam a uma adequação de aminoácidos sistematicamente desigual.

Significância e Alegações
O artigo afirma que, embora os LLMs possam gerar de forma confiável planos de refeições linguisticamente plausíveis e conformes em quantidade, eles falham silenciosamente em tarefas específicas do domínio que exigem restrições científicas quantitativas. O estudo destaca que a proteína total é um indicador incompleto de adequação, especialmente para adultos mais velhos.

Os autores alegam que este trabalho demonstra um equilíbrio "qualidade-versus-robustez": a alta adequação do ChatGPT dependeu de uma estratégia de ingredientes estreita (tofu) que pode carecer de resiliência a restrições do mundo real, como alergias ou disponibilidade de suprimentos, enquanto a diversidade do Claude frequentemente resultou em inadequação nutricional. A conclusão central é que a plausibilidade não deve ser confundida com adequação nutricional. O artigo propõe que, para o planejamento de refeições por IA ser confiável, a geração deve ser fundamentada em uma infraestrutura nutricional curada, como a geração aumentada por recuperação (RAG) combinada com verificações de qualidade automatizadas ao nível da refeição, como o MPQS.

Limitações
Os autores observam que o estudo avaliou jantares individuais em vez da completude de um dia inteiro, não avaliou aceitabilidade pelo consumidor, custo ou viabilidade, e dependeu de um único banco de dados de composição de alimentos. Os achados representam um recorte de dois modelos específicos sob um comando minimalista.