Context and Symmetry in Auditing: A Case Study of Skeleton Inference in Motion Capture
Questo articolo introduce l' "auditing contestuale" e sfrutta il concetto di "simmetria" dagli studi sulla scienza e la tecnologia per affrontare le sfide nella verifica dei sistemi di IA quando la verità di base è sconosciuta o contestata, dimostrando l'approccio attraverso un caso di studio sull'inferenza dello scheletro nella motion capture.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot a comprendere il corpo umano. Vuoi che sappia esattamente quanto è lungo un braccio, quanto è larga una spalla o come si piega un ginocchio. Ma ecco l'ostacolo: il robot non può vedere l'interno del corpo. Può vedere solo l'esterno. Quindi, come fai a sapere se il robot dice la verità? Questa è la grande domanda in un campo chiamato audit dell'IA. Di solito, per controllare se un robot ha ragione, si confronta la sua risposta con una "verità di base" (ground truth), ovvero un fatto perfetto e indiscutibile, come un righello che non mente mai. Ma cosa succede quando non esiste un righello perfetto? Cosa succede se la cosa che stai misurando (come la lunghezza esatta di un osso nascosto sotto la pelle) è impossibile da vedere direttamente? È qui che le cose si fanno complicate. Gli scienziati devono decidere cosa conti come "vero" in primo luogo, e a volte esperti diversi non sono d'accordo. Questo articolo si immerge in quel mondo disordinato, confuso ma affascinante, in cui cerchiamo di sottoporre un audit ai sistemi di IA che misurano i nostri corpi, anche quando non abbiamo una chiave di risposta perfetta con cui confrontarli.
Gli autori di questo articolo, un team di ricercatori provenienti da istituzioni come Cornell Tech e l'Università della Virginia, hanno deciso di affrontare questo problema guardando a un tipo specifico di IA: i sistemi di motion capture (o "mocap"). Probabilmente li hai già visti nei film o nei videogiochi, dove gli attori indossano tute ricoperte di piccoli puntini riflettenti, e le telecamere tracciano quei puntini per creare uno scheletro digitale che si muove proprio come l'attore. L'articolo si concentra su un compito specifico che questi sistemi svolgono, chiamato "inferenza dello scheletro", dove il computer indovina la posizione delle ossa basandosi sui puntini sulla pelle.
I ricercatori sostengono che il vecchio modo di controllare questi sistemi — confrontando semplicemente l'ipotesi del computer con una misurazione "perfetta" — non funziona bene in questo caso, perché per molte parti del corpo non esiste un'unica misurazione "perfetta" sin dall'inizio. La lunghezza di un avambraccio è la distanza tra due ossa all'interno, o la distanza tra due punti sulla pelle? Sono diverse! Per risolvere questo problema, il team introduce un nuovo modo di fare l'audit chiamato audit contestuale. Invece di guardare solo i numeri, guardano l'intera "storia" di come avviene la misurazione: chi la sta facendo, quali strumenti usa e cosa crede sia vero. Usano anche un concetto chiamato simmetria, che è come la regola di un detective: tratta ogni possibile modo di misurare (anche quelli che potrebbero essere sbagliati) con lo stesso livello di sospetto e rispetto. Non dare per scontato che il tuo righello sia giusto e il computer sbagli; assumi che entrambi possano essere imperfetti in modi diversi, e poi cerca di capire perché non sono d'accordo.
Per testare questa idea, il team ha allestito un esperimento nel mondo reale presso la New York University. Hanno lavorato con professionisti del motion capture che utilizzano questi sistemi per la progettazione creativa, come la creazione di videogiochi. Hanno reclutato 24 persone per far misurare i loro corpi in due modi diversi. Primo, hanno usato l'altamente tecnologico sistema di motion capture con le sue telecamere e 41 marcatori riflettenti. Secondo, hanno usato un umile e vecchio metodo, il metro da sarta, seguendo le linee guida standard per la salute per misurare le stesse parti del corpo.
Ecco il colpo di scena: i ricercatori non hanno trattato il metro da sarta come la "verità" e il computer come il "bugiardo". Invece, hanno trattato entrambi come diversi modi per cercare di indovinare la stessa cosa. Hanno scoperto che il sistema informatico funzionava molto bene per alcune persone, ma faticava con altre, specialmente se la forma del corpo della persona non corrispondeva ai corpi "medi" su cui il sistema era stato originariamente addestrato (che, storicamente, erano per lo più magri e di sesso maschile). Anche il metro da sarta aveva i suoi problemi, a seconda di come la persona che lo impugnava interpretava i punti di riferimento sul corpo.
Usando il loro approccio di "simmetria", il team ha dimostrato che è possibile sottoporre un audit efficace a questi sistemi anche senza una verità di base perfetta. Hanno scoperto che gli errori del computer non erano casuali; erano legati a specifiche assunzioni che il sistema faceva su come sia fatto un corpo umano. Ad esempio, se una persona aveva più tessuto molle (grasso o muscoli) di quanto il sistema si aspettasse, l'ipotesi del computer sulla lunghezza dell'osso tendeva a deviare. L'articolo suggerisce che comprendendo queste assunzioni nascoste e il contesto in cui vengono effettuate le misurazioni, possiamo scoprire dove l'IA ci sta fallendo, anche se non possiamo indicare un singolo numero "corretto".
In definitiva, questo articolo non sostiene di aver risolto il problema del motion capture o di aver risolto il mistero della misurazione perfetta del corpo. Suggerisce invece un modo migliore di porre le domande. Dimostra che, quando trattiamo con l'IA che ci misura, dobbiamo smettere di cercare una verità magica e iniziare a guardare alle pratiche, agli strumenti e ai pregiudizi integrati nel sistema. È un promemoria del fatto che, prima di fidarci di un robot per misurare i nostri corpi per scopi come la sicurezza sul lavoro o la diagnosi medica, dobbiamo comprendere la complessa e umana storia che sta dietro al modo in cui quel robot ha imparato a misurare in primo luogo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.