Determination of the Number of Topics Intrinsically: Is It Possible?
Questo articolo valuta vari metodi intrinseci per stimare il numero di argomenti nei modelli di topic attraverso molteplici corpora e conclude che tali metodi sono inaffidabili poiché il numero ottimale di argomenti dipende dal modello e dal metodo specifico utilizzato piuttosto che essere una proprietà assoluta dei dati.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate una biblioteca che contiene milioni di libri, ma gli scaffali sono vuoti e i titoli mancano. Per dare un senso a questa collezione, un bibliotecario potrebbe cercare di raggruppare i libri in base al loro contenuto, smistandoli in pile basate su temi condivisi. Nel mondo dell'informatica, questo è il compito di un modello di topic modeling. Questi sono strumenti statistici che scansionano vaste quantità di testo per trovare schemi nascosti, raggruppando parole che appaiono frequentemente insieme in ciò che chiamiamo "topic". Un topic potrebbe riguardare lo sport, un altro la cucina e un altro ancora l'esplorazione spaziale. Il computer non conosce queste etichette in anticipo; le scopre analizzando il testo stesso.
Tuttavia, c'è un problema fondamentale con questo processo: il computer non sa quanti mucchi creare. Dovrebbe creare dieci gruppi, cinquanta o cento? Questo numero è un'impostazione cruciale, o "iperparametro", che l'utente deve scegliere prima che il computer inizi il suo lavoro. Se il numero è troppo basso, i gruppi diventano disordinati e confusi, mescolando soggetti non correlati. Se il numero è troppo alto, i gruppi diventano minuscoli e ripetitivi, dividendo un singolo concetto in molti frammenti quasi identici. Per anni, i ricercatori hanno cercato di costruire strumenti automatici che potessero guardare una collezione di testi e dire all'utente il numero perfetto di topic da scegliere, sperando di trovare un'unica verità oggettiva nascosta nei dati.
Un team di ricercatori dell'Istituto di Fisica e Tecnologia di Mosca e dell'Università Statale di Mosca Lomonosov ha deciso di testare se un tale numero perfetto esista realmente. Hanno raccolto una vasta gamma di metodi esistenti — decine di diverse formule matematiche e procedure — che pretendono di determinare il numero ottimale di topic. Hanno applicato questi metodi a diverse collezioni di testi reali e ampie, che spaziavano da articoli di notizie e articoli scientifici fino a post di un forum di programmazione e un set curato di articoli di Wikipedia in russo. Hanno inoltre testato questi metodi su diversi tipi di modelli informatici, poiché il modo in cui un modello è costruito può cambiare il modo in cui vede i dati.
I ricercatori hanno eseguito migliaia di esperimenti, lasciando che i modelli informatici imparassero dal testo mentre misuravano i risultati con ciascuno dei diversi metodi. Cercavano segnali chiari, come un picco netto o una valle profonda nei dati, che potessero indicare il numero ideale di topic. Speravano di trovare che tutti i diversi metodi concordassero tra loro, indicando lo stesso numero per una determinata collezione di testi. Invece, hanno trovato un quadro caotico. I diversi metodi raramente concordavano. Un metodo poteva suggerire che una collezione di articoli di notizie fosse meglio compresa con dieci topic, mentre un altro, guardando esattamente lo stesso testo, ne suggeriva trenta. Ancora più sorprendente, il numero "migliore" cambiava spesso a seconda del modello specifico utilizzato per analizzare il testo.
Lo studio ha rivelato che gli strumenti più popolari e sofisticati per trovare il numero giusto di topic sono tutt'altro che affidabili. Alcuni metodi, che cercano di misurare quanto i topic siano distinti l'uno dall'altro, suggerivano costantemente numeri troppo elevati, spingendo spesso il conteggio fino al limite estremo di ciò che i ricercatori avevano testato. Altri metodi, che osservano quanto bene il modello predice il testo non visto, producevano risultati così piatti e immutabili da non offrire alcuna guida. I ricercatori hanno scoperto che il numero di topic non è una proprietà fissa e naturale del testo stesso, come il numero di pagine di un libro. Piuttosto, è una quantità che dipende fortemente dallo strumento specifico utilizzato per misurarlo e dal modello specifico usato per analizzarlo.
Nella loro conclusione, gli autori suggeriscono che la comunità stia inseguendo un mito. L'idea che esista un numero di topic "naturale" e unico in attesa di essere scoperto in qualsiasi dataset appare errata. Il numero di topic è più simile a una manopola che l'utente gira per regolare il livello di dettaglio che desidera vedere, in modo simile allo zoom avanti o indietro su una mappa. Una mappa di una città può mostrare le singole strade, oppure può mostrare solo le grandi autostrade; nessuna delle due è la mappa "vera", sono solo viste diverse per scopi diversi. I ricercatori sostengono che, invece di cercare un numero perfetto in modo automatico, i professionisti dovrebbero concentrarsi su ciò che effettivamente serve al loro modello. Dovrebbero chiedersi quanto dettaglio vogliono che abbiano i gruppi, o se hanno domande specifiche a cui vogliono che il modello risponda. La ricerca di una soluzione intrinseca e automatica al numero di topic ha, secondo questo studio, portato a un vicolo cieco, suggerendo che la risposta non risiede in una formula migliore, ma in una migliore comprensione dell'obiettivo umano dietro l'analisi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.