Immagina di guardare un amico che cerca di imparare un nuovo passo di danza da un video. Puoi capire facilmente se lo sta facendo bene o male, ma spiegare esattamente perché il suo ginocchio è piegato nel modo sbagliato o perché il suo ritmo è fuori tempo richiede un mix di occhi acuti e conoscenze specifiche. Questo è il cuore della Valutazione della Qualità dell'Azione (AQA - Action Quality Assessment). Mentre i computer sono diventati molto bravi a riconoscere semplicemente cosa sta accadendo (come gridare "Jumping Jack!"), storicamente hanno faticato a giudicare quanto bene venga eseguito. Recentemente, è arrivato un nuovo tipo di cervello informatico super intelligente chiamato Modello Linguistico di Grande Dimensioni Multimodale (MLLM). Questi modelli possono vedere video e leggere testo, promettendo di agire come un coach personale che non si limita a dire "bravo", ma può effettivamente criticare la tua forma fisica. Ma ecco la grande domanda: questi coach IA sono davvero pronti ad aiutarci, o stanno solo tirando a indovinare?

È esattamente ciò che il documento FitAQA si propone di scoprire. I ricercatori, lavorando con esperti di scienze dello sport, hanno costruito una massiccia "classe di ginnastica" per l'IA per testare le sue capacità di coaching. Non hanno solo chiesto all'IA di dare un punteggio; hanno creato una checklist dettagliata di 30 diversi esercizi a corpo libero (come i push-up e gli squat) e hanno scomposto la "buona forma" in sei categorie specifiche: allineamento, simmetria, stabilità, coordinazione, tempo e completezza. Hanno poi fornito all'IA 2.219 video e oltre 5.500 domande a cui rispondere. I risultati sono stati una sferzata di realtà: sebbene questi modelli di IA siano impressionanti, sono attualmente terribili nel individuare i dettagli minuscoli e cruciali che rendono un esercizio sicuro ed efficace. Spesso mancano completamente l'errore o non riescono a capire quando nell'video è avvenuto l'errore. Lo studio suggerisce che il problema principale non è che l'IA non conosca le regole del fitness; è che fatica a vedere l'evidenza visiva con sufficiente chiarezza per applicare tali regole.

Il Grande Test della Palestra dell'IA

Pensa allo stato attuale della comprensione video dell'IA come a uno studente che ha letto tutti i libri di testo di fisica ma non ha mai visto davvero una palla rimbalzare. Conosce la teoria, ma non sa prevedere dove la palla atterrerà. Gli autori di questo documento hanno capito che, per testare se l'IA può davvero essere un coach di fitness, avevano bisogno di un test che non fosse solo indovinare un punteggio finale. Avevano bisogno di un test che chiedesse: "Hai visto l'errore?" "Sai che è un errore?" e "Esattamente quando è successo?".

Per farlo, hanno creato FitAQA, un benchmark (uno standard di test) che è come un enorme pavimento di palestra digitale. Invece di guardare un solo tipo di esercizio, hanno coperto 30 movimenti diversi, dai cardio a tutto il corpo come i jumping jack, ai movimenti di forza del core come i reverse crunches. Ma la vera magia sta nel modo in cui hanno organizzato gli errori. Inve al di là di creare una lista separata di errori per ogni singolo esercizio (il che sarebbe stato caotico), hanno lavorato con esperti umani per creare una "Tassonomia degli Errori" unificata.

Immagina un dizionario di errori che si applica a quasi tutto. Che tu stia facendo uno squat o un push-up, gli errori rientrano in sei contenitori:

• Allineamento: Le tue articolazioni sono allineate correttamente?
• Simmetria: Il tuo lato sinisto sta facendo la stessa cosa del destro?
• Stabilità: Ti stai scuotendo o traballando in modo incontrollato?
• Coordinazione: Le tue braccia e le tue gambe si muovono insieme in armonia?
• Tempo: Il ritmo è troppo veloce o troppo lento?
• Completezza: Hai completato l'intero raggio di movimento o l'hai accorciato?

Hanno trovato 38 tipi specifici di errori ricorrenti attraverso queste categorie. Ad esempio, "Postura del Capo in Avanti" o "Raggio di Movimento Insufficiente". Ciò ha permesso loro di testare la capacità dell'IA di individuare questi schemi specifici attraverso diversi esercizi, piuttosto che limitarsi a memorizzare che "uno squat con le ginocchia curve è sbagliato".

I Tre Livelli del Test

I ricercatori non hanno solo chiesto all'IA di dare un voto finale. Hanno suddiviso il compito in tre livelli, come un videogioco con una difficoltà crescente:

1. Percezione (Gli Occhi): All'IA viene mostrato un video e le viene chiesto: "Cosa vedi accadere con le anche?". Deve scegliere tra descrizioni neutre come "Le anche rimangono sotto la linea" o "Le anche salgono sopra la linea". Questo testa se l'IA riesce effettivamente a vedere il movimento delle parti del corpo.
2. Giudizio (Il Cervello): Una volta che l'IA ha "visto" il movimento, le viene chiesto: "Questo movimento delle anche è corretto?". Ciò richiede di combinare ciò che ha visto con la sua conoscenza delle regole del fitness.
3. Localizzazione Temporale (Il Cronometro): Questo è il livello più difficile. All'IA viene chiesto: "Esattamente quando in questo video di 30 secondi la persona non è riuscita a sollevare abbastanza le anche?". Deve indicare i secondi specifici in cui si è verificato l'errore.

I Risultati: L'IA è un Cattivo Coach (Per Ora)

Quando hanno eseguito il test con i modelli di IA più avanzati disponibili (inclusi grandi nomi come GPT-5.5, Gemini e vari modelli open-source), i risultati sono stati sorprendenti. I modelli di IA generalmente si sono comportati solo leggermente meglio di un tentativo casuale.

• Gli Occhi sono Deboli: I modelli hanno avuto grandi difficoltà con il compito di Percezione. Anche i migliori modelli hanno ottenuto solo circa il 54% di precisione nei dettagli visivi. Ciò significa che l'IA spesso non riusciva a capire se un ginocchio era piegato troppo o se una schiena era dritta.
• Il Cervello è Confuso: Poiché l'IA non vedeva bene i dettagli, anche il suo Giudizio è stato scarso. Tendeva a essere eccessivamente ottimista, dichiarando spesso che un esercizio era "corretto" anche quando non lo era.
• Il Cronometro è Rotto: Per il compito di Localizzazione Temporale, i modelli sono stati terribili nel individuare il momento esatto in cui un errore è avvenuto. Spesso ipotizzavano che l'intero video fosse l'errore, o mancavano completamente l'errore.

La scoperta più interessante è arrivata da un "esperimento di controllo". I ricercatori hanno chiesto: E se dicessimo all'IA esattamente ciò che ha visto, e poi le chiedessimo di giudicare?

Quando hanno fornito all'IA la descrizione visiva corretta (la risposta di "Percezione") e poi le hanno chiesto di fare il "Giudizio", le prestazioni dell'IA sono decollate. Ad esempio, la capacità di un modello di individuare gli errori è passata da un punteggio basso a oltre il 94% di precisione. Questo suggerisce che l'IA in realtà conosce le regole del fitness e sa ragionare bene, ma fallisce perché non riesce a vedere l'evidenza visiva con sufficiente chiarezza per applicare quelle regole. È come un coach brillante che indossa occhiali da sole troppo scuri per vedere la forma dell'atleta.

In Conclusione

Il documento conclude che, sebbene i Modelli Linguistici di Grandi Dimensioni Multimodali siano strumenti potenti per comprendere contenuti video generali, non sono ancora pronti per essere coach di fitness affidabili. Faticano a rilevare i dettagli sottili e rilevanti per la qualità del movimento umano e non riescono a localizzare con precisione quando avvengono gli errori. Gli autori suggeriscono che, prima di poter fidarci di un'IA per correggere la nostra forma durante l'allenamento, dobbiamo risolvere il problema della percezione visiva — insegnando all'IA a vedere i piccoli dettagli di postura e movimento con la stessa chiarezza di un esperto umano. Fino ad allora, è probabilmente meglio tenere in gioco un vero istruttore umano.