Using LLMs for Ontology generation by video summarization

Nel vasto panorama dell'informazione digitale, esiste una sfida persistente: insegnare ai computer non solo a memorizzare dati, ma a comprendere le relazioni tra le idee. Immaginate una biblioteca dove ogni libro è archiviato per il colore della sua copertina piuttosto che per il suo argomento; trovare una storia specifica sarebbe quasi impossibile. Nel mondo dell'informatica, questo problema viene risolto creando le "ontologie". Pensate a un'ontologia come a una mappa strutturata della conoscenza per un campo specifico, come lo sport o la medicina. Essa definisce i concetti chiave all'interno di quel campo e, cosa fondamentale, traccia le linee che li connettono. Questa mappa permette alle macchine di ragionare, cercare e condividere informazioni in un modo che imita la comprensione umana. Tuttavia, la costruzione di queste mappe è stata tradizionalmente un processo lento e costoso, che richiede team di esperti umani per definire manualmente ogni termine e connessione. Con l'esplosione del volume dei contenuti digitali, in particolare nei formati video, i vecchi metodi di costruzione manuale faticano a tenere il passo.

Un nuovo approccio, dettagliato in una recente ricerca del Dr. Khaled Omar dell'Università di Damasco, tenta di aggirare l'ostacolo del lavoro umano utilizzando l'intelligenza artificiale avanzata per costruire queste mappe di conoscenza direttamente dai video. Lo studio si concentra su un tipo specifico di intelligenza artificiale noto come grandi modelli linguistici (large language models): sistemi addestrati su enormi quantità di testo che possono leggere, comprendere e generare il linguaggio umano con una straordinaria fluidità. Sebbene questi modelli siano stati precedentemente utilizzati per riassumere testi, questa ricerca pone una domanda più audace: possono guardare un video, comprenderne il messaggio centrale e costruire automaticamente una mappa di conoscenza formale dell'argomento? La risposta, secondo lo studio, è un promettente sì. I ricercatori hanno sviluppato un sistema in due fasi che prima trasforma un video in un riassunto scritto conciso e poi trasforma quel riassunto in un formato di dati strutturato che i computer possono usare per ragionare sul contenuto del video.

Il processo inizia con un input semplice: un link a un video su YouTube. Il sistema non guarda il video nel modo in cui lo farebbe un essere umano, elaborando immagini in movimento. Invece, estrae prima le parole pronunciate dal video, creando una trascrizione testuale. Questa trascrizione viene poi inserita in un potente modello di intelligenza artificiale chiamato Llama 3.2, che i ricercatori hanno eseguito sui propri computer locali per evitare i costi del cloud. Il modello agisce come un editor esperto, leggendo la trascrizione e scomponendola in segmenti gestibili. Riassume ogni sezione e poi combina tali riassunti in una singola narrazione coerente. Questa narrazione non è solo una collezione casuale di frasi; è attentamente strutturata per evidenziare il tema principale del video, identificare le persone o gli oggetti più importanti menzionati ed estrarre le conclusioni chiave. Il risultato è una storia testuale pulita che cattura l'essenza del video originale.

Una volta che questo riassunto testuale è pronto, il sistema passa alla seconda fase: trasformare la storia in una mappa formale. Qui, un diverso modello di intelligenza artificiale, Gemini Pro 002, prende il comando. I ricercatori forniscono a questo modello un set specifico di istruzioni, o prompt, dicendogli di agire come un architetto della conoscenza. Al modello viene chiesto di esaminare il riassunto, identificare il dominio del video e elencare i concetti chiave presenti in esso. Successivamente, prende questi concetti e inizia a disegnare le connessioni tra di essi, definendo come si relazionano tra loro. Infine, il modello restituisce questa struttura in un formato standard noto come RDF, che è un modo di scrivere dati che consente a diversi sistemi informatici di scambiare e comprendere le informazioni senza problemi. L'intero flusso di lavoro, da un link video grezzo a una mappa di conoscenza strutturata, avviene automaticamente, senza richiedere l'intervento umano per definire i termini o le relazioni.

Per testare se questo metodo automatizzato funzioni effettivamente, i ricercatori lo hanno applicato a un dataset di cento video focalizzati sullo sport. Non si sono limitati a lasciare che il sistema girasse sperando nel meglio; hanno misurato le sue prestazioni rispetto a uno standard elevato. Per la prima parte del processo, ovvero la sintesi del video, hanno confrontato il riassunto scritto dall'IA con il titolo originale del video per vedere quanto bene corrispondessero in termini di significato. Il sistema ha raggiunto un alto livello di accordo, con i riassunti che si allineavano ai titoli circa il novantacinque percento delle volte. Per la seconda parte, la creazione della mappa di conoscenza, i ricercatori hanno confrontato la mappa generata dall'IA con una mappa creata da un esperto umano. Questo è il vero test per capire se la macchina comprenda la struttura della conoscenza, e non solo le parole. In questo confronto, il sistema automatizzato ha ricreato con successo la mappa dell'esperto umano con un tasso di accuratezza dell'ottantacinque percento. Osservando l'intero processo nel suo complesso, i ricercatori hanno calcolato un'accuratezza complessiva del novanta percento.

Le implicazioni di questo lavoro sono significative per la gestione del crescente oceano di contenuti video su Internet. Automatizzando la creazione di queste mappe di conoscenza, il sistema riduce la forte dipendenza dagli esperti umani, rendendo possibile organizzare e comprendere i dati video su una scala precedentemente impossibile. I ricercatori osservano che, sebbene abbiano testato questo metodo sui video sportivi, la procedura non è limitata a questo campo; potrebbe essere applicata a lezioni mediche, tutorial educativi o qualsiasi dominio in cui il video sia una fonte primaria di informazione. Lo studio suggerisce che il futuro dell'organizzazione della conoscenza digitale risieda in questi sistemi ibridi, dove l'intelligenza artificiale si occupa del lavoro pesante di estrazione e strutturazione, permettendo agli esseri umani di concentrarsi sulla validazione e l'applicazione di livello superiore. La ricerca rappresenta una dimostrazione che, con gli strumenti giusti, il compito complesso di trasformare un'immagine in movimento in una comprensione strutturata e leggibile dalle macchine del mondo non è più solo una possibilità teorica, ma una realtà pratica.