HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

Immagina di cercare il film perfetto da guardare o lo strumento esatto di cui hai bisogno per un progetto fai-da-te. Digiti alcune parole in una barra di ricerca e un computer deve indovinare cosa intendi davvero. Questo è il mondo della "scoperta dei contenuti", dove gli algoritmi agiscono come bibliotecari digitali o assistenti alla vendita. Ma ecco la parte complicata: i computer non hanno l'intuizione umana. Faticano a capire che "finitura mercurio metallico" potrebbe significare effettivamente "grigio" per un essere umano, o che un "comò a 7 cassetti" soddisfi la necessità di una "cassettiera grigia" anche se le parole non corrispondono perfettamente.

Per risolvere questo problema, gli scienziati stanno insegnando ai computer a usare i "Large Language Models" (LLM) — cervelli IA super intelligenti capaci di leggere e scrivere come gli esseri umani. L'obiettivo è far sì che queste IA giudichino quanto sia pertinente un risultato di ricerca, proprio come farebbe un essere umano. Tuttavia, chiedere a un singolo cervello IA di fare tutto questo in una volta sola è come chiedere a una sola persona di essere contemporaneamente un esperto di colori, un critico di stile e un risolutore di enigmi logici. Spesso si confondono, perdono le connessioni o forniscono una risposta "abbastanza buona" che non è del tutto corretta. Questo articolo pone una domanda semplice ma potente: e se non ci affidassimo a un unico cervello gigante, ma costruissimo invece un piccolo team organizzato di specialisti che comunicano tra loro per risolvere l'enigma?

Gli autori di questo articolo, che lavorano in Amazon, propongono un nuovo sistema chiamato HIERA (Hierarchical Multi-Agent Relevance Assessment). Pensa a HIERA non come a un singolo super investigatore, ma come a un'agenzia investigativa ben gestita con una rigida catena di comando. Nel loro sistema, non c'è solo un agente che fa tutto il lavoro. Al contrario, hanno un "Giudice" che decide se un caso è complicato, un "Analista della Query" che capisce cosa vuole davvero l'utente, un "Analista dell'Oggetto" che studia nel dettaglio il prodotto o il film, e un "Analista della Relazione" che funge da capitano della squadra, collegando i puntini tra il desiderio dell'utente e la realtà dell'oggetto.

L'articolo rileva che questo approccio basato su un team organizzato è significativamente migliore dei vecchi metodi. Quando hanno testato HIERA su cinque diversi dataset — che spaziavano dalla ricerca di film ai prodotti per il fai-da-te — ha superato altri 11 metodi. Ad esempio, su un dataset chiamato EVS (ricerca di video di intrattenimento), HIERA ha migliorato l'accuratezza di un massiccio 38% rispetto al miglior metodo precedente. Sul dataset di Home Depot, è migliorato del 10,2%.

Fondamentalmente, i ricercatori hanno dimostrato che la magia non risiedeva solo nell'avere più agenti o più informazioni. Hanno eseguito esperimenti in cui hanno fornito agli stessi agenti e alle stesse conoscenze esterne un sistema in cui tutti lavoravano da soli e si limitavano a votare la risposta alla fine. Quel team "piatto" ha ottenuto risultati molto peggiori. Infatti, quando hanno aggiunto conoscenze esterne ai vecchi metodi non coordinati, quei metodi sono diventati addirittura peggiori. Ciò suggerisce che la "formula segreta" è la gerarchia: il modo specifico in cui gli agenti comunicano tra loro, dove l' "Analista della Relazione" sintetizza le scoperte in una storia coerente prima che il Giudice finale prenda una decisione.

L'articolo mostra che per compiti complessi in cui è necessario comprendere stile, colore, funzione e intenzione tutto in una volta, un team strutturato che coordina i propri pensieri è di gran lunga superiore a un gruppo di individui che urlano le proprie opinioni o a un singolo cervello che cerca di fare tutto insieme. Sebbene il sistema impieghi un po' più tempo per l'esecuzione (circa 35 secondi per ricerca rispetto a meno di un secondo per i metodi semplici), è comunque 50 volte più veloce di un esperto umano e fornisce risposte molto più affidabili. Gli autori concludono che se si vuole costruire un sistema di ricerca intelligente, investire in una buona struttura di coordinamento è più importante che aggiungere semplicemente computer più potenti o più dati.