Consistency of AI-Generated Exercise Prescriptions: A Repeated Generation Study Using a Large Language Model

Questo studio dimostra che, sebbene il modello linguistico Gemini 2.5 Flash generi prescrizioni di esercizio semanticamente coerenti, presenta una variabilità significativa nei componenti quantitativi e nella struttura delle espressioni di sicurezza, evidenziando la necessità di vincoli strutturali aggiuntivi e validazione esperta prima di un eventuale utilizzo clinico.

L'essenziale

🤖 L'Allenatore Digitale: Quando l'Intelligenza Artificiale "Sogna" la stessa cosa?

Immagina di avere un allenatore personale super-intelligente, un robot che ha letto tutti i libri di medicina e fitness del mondo. Questo robot è un "Modello Linguistico" (come Gemini, il cervello digitale usato nello studio). Il suo compito è darti un piano di allenamento perfetto, scritto su misura per te.

Ma c'è un problema: se chiedi allo stesso robot, esattamente nello stesso momento, lo stesso piano di allenamento per la stessa persona, cosa succede? Ti dà lo stesso foglio di carta identico? O ti scrive tre versioni leggermente diverse?

Questo studio ha fatto proprio questo esperimento: ha chiesto al robot di scrivere 20 volte di fila lo stesso piano di allenamento per 6 persone diverse (dall'anziano con il diabete al giovane che vuole fare muscoli) e ha controllato quanto erano simili tra loro queste 20 risposte.

Ecco cosa hanno scoperto, spiegato con delle metafore:

1. La "Firma" del Testo: Molto Simile (La Coerenza Semantica)

Immagina di chiedere a 20 amici di raccontare la stessa storia. Anche se usano parole diverse, la trama è la stessa.
Lo studio ha scoperto che il robot è molto bravo a mantenere la stessa "trama". Se guardiamo il testo generale, le 20 risposte sono quasi identiche (come 20 fotocopie dello stesso libro).

• Il trucco: Più la situazione è "difficile" e specifica (es. un paziente con molte malattie), più il robot si attiene alla stessa storia. Più la situazione è "libera" (es. un giovane sano che vuole solo dimagrire), più il robot ha fantasia e scrive cose diverse ogni volta.

2. I Numeri e i Dettagli: Qui c'è il "Treno in Ritardo" (La Coerenza Strutturale)

Qui le cose si fanno interessanti. Anche se la storia è la stessa, i numeri cambiano.
Immagina che il robot debba dirti: "Fai 30 minuti di corsa a velocità media".

• Nelle 20 risposte, a volte dice "30 minuti", altre "25", altre "35".
• A volte dice "corsa veloce", altre "corsa moderata".
• Il problema più grande: Per gli esercizi con i pesi, il robot spesso si perde. Invece di dirti "solleva il 50% del tuo peso massimo", a volte scrive cose confuse che non si capisce se sono pesanti o leggere. È come se un cuoco ti desse una ricetta che dice "aggiungi un po' di sale", ma ogni volta che lo chiedi, la quantità di sale cambia.

3. La Sicurezza: Il "Paracadute" è Sempre lì (La Coerenza di Sicurezza)

Questa è la parte più rassicurante. Il robot ha sempre incluso i paracadute di sicurezza.
In tutte le 120 risposte (20 per ogni persona), il robot ha sempre scritto: "Attenzione, se ti fa male la schiena fermati" o "Non fare questo se hai il cuore debole".

• La differenza: Se il paziente è malato, il robot scrive un manuale di sicurezza lunghissimo (come un paracadute gigante). Se il paziente è sano, scrive solo un promemoria breve (come un piccolo distintivo). Ma il messaggio di sicurezza c'è sempre.

🧠 Cosa significa tutto questo per noi?

Lo studio ci dice due cose fondamentali:

1. Il robot è affidabile per le "grandi idee": Se chiedi un consiglio generale, otterrai sempre una risposta coerente e sicura.
2. Il robot è un po' "sognatore" per i dettagli precisi: Se hai bisogno di numeri esatti (quanti minuti, quanti chili), il robot potrebbe darti una risposta diversa ogni volta che lo chiedi.

L'analogia finale:
Pensa a questo robot come a un cuoco stellato.

• Se gli chiedi di preparare una "zuppa calda e sicura", ti porterà sempre una zuppa calda e sicura (ottimo!).
• Ma se gli chiedi di mettere esattamente 3 grammi di sale e cuocere per esattamente 12 minuti e 30 secondi, potrebbe metterne 2,5 la prima volta e 3,5 la seconda.

💡 La Conclusione Pratica

Non possiamo ancora lasciare che il robot prescriva l'allenamento da solo, specialmente per le persone malate. Serve sempre un medico umano (un "capocuoco") che controlla i numeri finali.
Il robot è un ottimo assistente che fa la bozza, ma prima di dare il piano a un paziente, un esperto deve dire: "Sì, questa è la versione giusta, correggiamo quel numero".

In sintesi: L'Intelligenza Artificiale è un ottimo scrittore di piani, ma ha bisogno di un supervisore umano per assicurarsi che i numeri siano precisi come un orologio svizzero.

Sommario tecnico

Titolo: Coerenza delle Prescrizioni Esercizio Generate dall'IA: Uno Studio a Generazione Ripetuta Utilizzando un Large Language Model

1. Il Problema

L'avanzamento dei Large Language Models (LLM) ha aperto nuove possibilità nella generazione di prescrizioni di esercizio fisico personalizzate. Tuttavia, mentre studi precedenti hanno dimostrato la fattibilità e la sicurezza di questi strumenti, la coerenza (o riproducibilità) delle loro uscite in condizioni identiche rimane insufficientemente esaminata.
Il problema centrale è che gli LLM operano su meccanismi di generazione probabilistica di token. Ciò significa che, anche con lo stesso prompt e lo stesso profilo paziente, un modello può produrre prescrizioni strutturalmente diverse in generazioni successive. In contesti clinici ad alto rischio (es. pazienti con comorbidità), tale variabilità comporta implicazioni dirette sulla sicurezza e sull'efficacia del trattamento, poiché stimoli di esercizio non equivalenti potrebbero essere prescritti allo stesso paziente. Esiste quindi un bisogno critico di valutare la stabilità intra-modello prima del dispiegamento clinico.

2. Metodologia

Lo studio ha adottato un disegno di generazione ripetuta per valutare la coerenza intra-modello di un LLM specifico (Gemini 2.5 Flash).

• Scenario Clinico: Sono stati utilizzati 6 scenari clinici ipotetici:
  • 3 casi clinici ad alto rischio (Diabete di tipo 2 + Obesità; Osteoartrite del ginocchio + Rischio di caduta; Recupero post-chirurgico da cancro al colon).
  • 1 caso multimorbido complesso (Ipertensione + Diabete + Obesità).
  • 2 casi su soggetti sani (Perdita di grasso; Ipertrofia muscolare).
• Procedura di Generazione: Per ogni scenario, sono state generate 20 uscite identiche utilizzando lo stesso prompt, per un totale di 120 prescrizioni. Il modello è stato interrogato tramite API (Vertex AI) con temperatura impostata a 1.0 per osservare la variabilità stocastica standard.
• Valutazione della Coerenza: L'analisi è stata condotta su tre dimensioni:
  1. Coerenza Semantica: Misurata tramite la similarità del coseno (SBERT, modello all-MiniLM-L6-v2) tra tutte le coppie di uscite (190 coppie per scenario).
  2. Coerenza Strutturale (Principio FITT): Valutata utilizzando un approccio "AI-as-a-Judge" (Claude Sonnet 4.6) per classificare Frequenza, Intensità, Tempo e Tipo di esercizio. L'intensità è stata categorizzata (bassa, moderata, alta) o etichettata come "non classificabile" se mancavano dati numerici specifici (es. %1RM).
  3. Coerenza delle Espressioni di Sicurezza: Analisi della presenza binaria e del conteggio delle frasi relative a controindicazioni, precauzioni, monitoraggio dei sintomi e avvertenze di rischio.

3. Risultati Chiave

• Coerenza Semantica: La similarità semantica è risultata complessivamente alta (media del coseno tra 0.879 e 0.939), indicando che il testo generato è strutturalmente stabile. Tuttavia, la coerenza era maggiore negli scenari con vincoli clinici ben definiti (es. recupero post-cancro, S3) rispetto agli scenari per soggetti sani o con condizioni metaboliche complesse, dove la variabilità era più elevata.
• Coerenza Strutturale (FITT):
  • La frequenza ha mostrato pattern coerenti (es. 3-4 volte/settimana per l'aerobico nei casi clinici).
  • L'intensità ha rivelato la maggiore variabilità. Sebbene l'intensità aerobica fosse coerente, l'intensità del resistance training ha mostrato instabilità significativa: dal 10% al 25% delle uscite cliniche contenevano espressioni di intensità "non classificabili" (mancanza di valori %1RM specifici), nonostante il prompt lo richiedesse esplicitamente.
  • Nei casi sani, la variabilità nella frequenza e nell'intensità è stata ancora più marcata.
• Sicurezza: Tutte le 120 uscite hanno incluso le quattro categorie di sicurezza richieste (100% di inclusione). Tuttavia, il numero di frasi relative alla sicurezza variava significativamente tra gli scenari (p < 0.001). I casi clinici complessi (es. S4) hanno generato un volume di avvertenze molto superiore rispetto ai soggetti sani, suggerendo che il modello adatta la quantità di contenuto di sicurezza alla complessità del caso, ma non in modo perfettamente costante.

4. Contributi Principali

1. Nuova Dimensione di Valutazione: Lo studio introduce la "coerenza di generazione ripetuta" come metrica fondamentale per la valutazione degli LLM in ambito sanitario, andando oltre le tradizionali valutazioni di accuratezza e sicurezza.
2. Metodologia Ibrida: Propone un framework di valutazione che combina l'analisi semantica (SBERT) con la classificazione strutturale guidata da un altro LLM (AI-as-a-Judge) basata su linee guida cliniche (FITT).
3. Evidenza di Variabilità Numerica: Dimostra che, sebbene il linguaggio naturale sia coerente, la generazione di valori numerici precisi (come l'intensità dell'esercizio) è intrinsecamente instabile negli LLM attuali, rappresentando un rischio critico per le prescrizioni cliniche.
4. Impatto dei Vincoli del Prompt: Evidenzia che la coerenza dell'output è fortemente influenzata dalla chiarezza dei vincoli clinici: scenari con opzioni limitate (es. pazienti fragili) producono risultati più stabili rispetto a scenari con ampio margine di scelta (es. soggetti sani).

5. Significato e Implicazioni

I risultati indicano che, sebbene gli LLM siano promettenti come strumenti di supporto decisionale, la loro affidabilità per la prescrizione diretta di esercizio fisico è attualmente limitata dalla variabilità nelle componenti quantitative.

• Non Equivalenza Clinica: Un'alta similarità semantica non garantisce l'equivalenza clinica; una variazione nell'intensità (es. dal 50% al 70% della FCmax) può alterare radicalmente lo stimolo terapeutico.
• Necessità di Validazione: Il dispiegamento clinico richiede non solo modelli generativi, ma anche processi decisionali strutturati, vincoli di prompt più rigidi e, soprattutto, validazione esperta umana prima dell'uso reale.
• Sviluppo Futuro: Sono necessari studi comparativi multi-modello e lo sviluppo di meccanismi di controllo quantitativo automatico per mitigare la variabilità numerica prima che questi sistemi possano essere considerati sicuri per l'uso autonomo in ambito sanitario.