Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

Este estudo avalia a consistência de prescrições de exercícios geradas pelo modelo de linguagem Gemini 2.5 Flash, concluindo que, embora a semântica seja altamente consistente, há variabilidade significativa em componentes quantitativos como a intensidade, indicando a necessidade de validação por especialistas antes da aplicação clínica.

O essencial

Imagine que você pediu a um chef de cozinha robótico (uma Inteligência Artificial) para criar um cardápio de exercícios para seis pessoas diferentes: desde um idoso com dores no joelho até um jovem saudável que quer ganhar músculos.

O que este estudo fez foi pedir ao mesmo robô para criar o mesmo cardápio 20 vezes seguidas, sem mudar nada na receita. A pergunta era: será que o robô vai entregar o mesmo prato 20 vezes, ou vai mudar os ingredientes a cada pedido?

Aqui está o resumo da história, traduzido para o português de forma simples e com algumas analogias:

1. O Teste da "Fotocópia Perfeita"

Os pesquisadores usaram um modelo de IA chamado Gemini para criar planos de exercícios para 6 cenários diferentes (pacientes doentes e pessoas saudáveis). Eles pediram o mesmo plano 20 vezes para cada pessoa.

• A Analogia: Imagine que você pede para um artista desenhar um gato 20 vezes. Se ele desenhar 20 gatos idênticos, é consistente. Se ele desenhar um gato, depois um tigre, depois um cachorro, é inconsistente.
• O Resultado: Quando olhamos para o texto geral (a "história" do plano), o robô foi muito consistente. Foi como se ele tivesse escrito 20 vezes a mesma história, com as mesmas palavras principais. A "semelhança" entre os textos foi de quase 90% a 94%.

2. O Problema dos "Números Mágicos"

Aqui é onde a coisa fica interessante. Embora a história fosse a mesma, os detalhes numéricos (a "receita" em si) mudavam um pouco.

• A Analogia: Pense em um plano de treino como uma receita de bolo. O robô sempre disse "vamos fazer um bolo de chocolate" (o texto é igual). Mas, às vezes, ele escrevia "use 2 xícaras de açúcar", e na próxima tentativa, "use 3 xícaras". Para um paciente doente, essa diferença de açúcar pode ser perigosa.
• O que aconteceu:
  • Frequência (Quantas vezes): O robô foi bom em dizer "faça 3 vezes por semana".
  • Intensidade (Quão forte): O robô vacilou. Em cerca de 10% a 25% dos casos, ele não conseguia definir claramente quão forte o exercício deveria ser (ex: "levante peso" sem dizer quanto).
  • Pessoas doentes vs. Saudáveis: Quando o paciente era doente (com diabetes, câncer, etc.), o robô foi mais "conservador" e seguido de regras. Quando o paciente era saudável, o robô teve mais liberdade e criou planos mais variados (e às vezes confusos).

3. A Segurança: O "Aviso de Perigo"

Uma coisa boa: o robô nunca esqueceu de colocar avisos de segurança. Em 100% dos casos, ele disse "cuidado com tal coisa" ou "pare se sentir mal".

• A Analogia: É como um manual de instruções de um brinquedo novo. O robô sempre colou o adesivo de "Cuidado: não engula as peças".
• O Detalhe: Embora ele sempre colocasse o aviso, a quantidade de avisos mudava. Para os pacientes mais complexos (com várias doenças), o robô escreveu páginas e páginas de avisos. Para os saudáveis, escreveu apenas uma frase. Isso mostra que o robô entende que "doentes precisam de mais cuidado".

4. A Conclusão: O Robô é um Bom Assistente, mas Precisa de um Chefe Humano

O estudo conclui que a Inteligência Artificial é ótima para criar a estrutura do plano e para lembrar de falar sobre segurança. Ela é muito consistente na "conversa".

Porém, ela ainda não é confiável para dar os números exatos (quantos quilos levantar, quantas batidas por minuto) sem supervisão. É como se o robô fosse um ótimo redator de receitas, mas às vezes errasse a medida do sal.

A lição final:
Não podemos deixar o robô sozinho na cozinha hospitalar. Ele precisa de um chef humano (um especialista em exercícios) para revisar a receita, corrigir os números e garantir que o "bolo" não vai fazer o paciente adoecer. A tecnologia é poderosa, mas a supervisão humana é indispensável.

Resumo técnico

Título do Estudo

Consistência de Prescrições de Exercício Geradas por IA: Um Estudo de Geração Repetida Utilizando um Modelo de Linguagem Grande (LLM)

1. Problema e Contexto

Os Modelos de Linguagem Grande (LLMs) têm sido explorados como ferramentas para gerar prescrições de exercícios personalizadas, especialmente em cenários onde o acesso a especialistas é limitado. Embora estudos anteriores tenham demonstrado a viabilidade e a segurança dessas gerações, uma lacuna crítica permanece: a consistência (reprodutibilidade) das saídas sob condições idênticas.

• O Desafio: Devido ao mecanismo de geração de tokens probabilístico dos LLMs, o mesmo prompt pode resultar em prescrições estruturalmente diferentes para o mesmo perfil de paciente.
• Implicação Clínica: Em contextos de alto risco (pacientes com comorbidades), a variabilidade na saída pode levar a estímulos de exercício não equivalentes, afetando a segurança e os resultados do tratamento. A "reprodutibilidade" (capacidade de gerar saídas estáveis) e a "consistência" (grau de similaridade entre repetições) são métricas essenciais que ainda não foram suficientemente examinadas na área de prescrição de exercícios.

2. Metodologia

O estudo utilizou um desenho de geração repetida para avaliar a consistência intra-modelo do LLM Gemini 2.5 Flash.

• Cenários Clínicos: Foram utilizados 6 cenários clínicos distintos (3 casos de alto risco: T2DM+Obesidade, Osteoartrite de Joelho+Risco de Queda, Recuperação Pós-Câncer de Cólon; e 3 casos de adultos saudáveis: perda de gordura, hipertrofia muscular e um caso multimorbidade).
• Geração de Dados: Para cada cenário, foram geradas 20 saídas sob condições de prompt idênticas, totalizando 120 prescrições.
  • Controle: A temperatura foi definida em 1.0 para observar a variabilidade estocástica padrão, sem técnicas de elicitação de raciocínio (como chain-of-thought).
  • API: Uso da API Vertex AI para garantir controle e reprodutibilidade do ambiente.
• Pré-processamento: As saídas brutas foram limpas usando um LLM (Claude Sonnet 4.6) para extrair apenas o corpo da prescrição, removendo saudações e formatação irrelevante.
• Avaliação da Consistência (Três Dimensões):
  1. Consistência Semântica: Medida pela similaridade de cosseno baseada em SBERT (modelo all-MiniLM-L6-v2) entre pares de saídas dentro de cada cenário.
  2. Consistência Estrutural (Princípio FITT): Avaliação baseada nos componentes Frequência, Intensidade, Tempo e Tipo. Um LLM independente (Claude Sonnet 4.6) atuou como "juiz" para classificar a intensidade (Baixa, Moderada, Alta ou Inclassificável) para exercícios aeróbicos e de resistência.
  3. Consistência de Expressões de Segurança: Análise da inclusão (binária) e contagem de sentenças relacionadas a quatro categorias: contraindicações, precauções, monitoramento de sintomas e alertas de risco.

3. Principais Contribuições

• Novo Paradigma de Avaliação: Introduz a consistência de geração repetida como um eixo de avaliação fundamental, além das métricas tradicionais de precisão e segurança.
• Pipeline de Avaliação Híbrido: Combina similaridade semântica (SBERT) com classificação estrutural baseada em "LLM-as-a-Judge" para avaliar a aderência ao princípio FITT.
• Análise Quantitativa de Variabilidade: Demonstra que, embora o texto geral seja estável, os componentes numéricos críticos (como intensidade) apresentam variabilidade significativa, o que é crucial para a segurança clínica.

4. Resultados Chave

• Consistência Semântica:
  • Alta consistência geral observada (similaridade média de cosseno entre 0,879 e 0,939).
  • Casos com restrições clínicas bem definidas (ex: pós-cirurgia de câncer, osteoartrite com risco de queda) apresentaram maior consistência do que casos de adultos saudáveis ou com múltiplas comorbidades metabólicas, onde o leque de opções válidas é mais amplo.
• Consistência Estrutural (FITT):
  • Frequência: Padrões consistentes (ex: 3-4x/semana aeróbico + 2x/semana resistência para casos clínicos).
  • Intensidade: Variabilidade significativa observada.
    • Em casos clínicos, a intensidade aeróbica foi consistentemente baixa (90-100%).
    • Problema Crítico: Na prescrição de exercícios de resistência, 10% a 25% das saídas clínicas foram classificadas como "inclassificáveis" (não forneciam valores de %1RM ou não eram estimáveis), apesar do prompt solicitar explicitamente essa notação.
  • Tempo: Duração variável, com algumas saídas fornecendo estimativas em vez de valores explícitos.
• Consistência de Segurança:
  • Inclusão: 100% das 120 saídas incluíram expressões de segurança (contraindicações, precauções, etc.).
  • Quantidade: Houve variação significativa no número de sentenças de segurança entre os cenários (p < 0.001). Casos clínicos complexos (ex: Hipertensão + T2DM + Obesidade) geraram muito mais texto de segurança do que casos de adultos saudáveis.

5. Significado e Conclusões

• Alta Similaridade ≠ Equivalência Clínica: O estudo alerta que uma alta similaridade semântica não garante que as prescrições sejam clinicamente equivalentes. Pequenas variações numéricas (ex: intensidade de 50% vs. 70% da FC máxima) podem ser semanticamente similares, mas ter implicações fisiológicas e de segurança distintas.
• Limitações Atuais dos LLMs: Existe uma limitação inerente na geração de prescrições numéricas estáveis. A variabilidade na intensidade de exercícios de resistência e na quantificação do tempo sugere que os LLMs atuais não são totalmente confiáveis para gerar valores numéricos precisos sem supervisão.
• Dependência da Estrutura do Prompt: A confiabilidade das saídas depende substancialmente de como o prompt é estruturado e das restrições impostas.
• Recomendação para Implementação Clínica: Antes do uso clínico, é imperativo estabelecer processos de tomada de decisão estruturados e mecanismos de controle quantitativo. A validação por especialistas humanos permanece essencial, e os sistemas de IA devem ser vistos como ferramentas de suporte que requerem verificação rigorosa, especialmente em componentes quantitativos críticos.

Em resumo, o estudo fornece uma base fundamental para a confiabilidade de sistemas de prescrição de exercícios baseados em IA, destacando que, embora a estrutura geral e a segurança textual sejam robustas, a estabilidade dos parâmetros quantitativos ainda é um desafio que impede a implantação autônoma direta.