HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

Stel je voor dat je de perfecte film probeert te vinden om te kijken of het exacte gereedschap nodig hebt voor een doe-het-zelfproject. Je typt een paar woorden in een zoekbalk, en een computer moet raden wat je werkelijk bedoelt. Dit is de wereld van "content discovery" (inhoudelijke ontdekking), waar algoritmen fungeren als digitale bibliothecarissen of winkelassistenten. Maar hier komt het lastige gedeelte: computers hebben geen menselijke intuïtie. Ze worstelen met het begrijpen dat "metallic kwikzilver afwerking" voor een mens eigenlijk "grijs" kan betekenen, of dat een "7-lade commode" voldoet aan de behoefte aan een "grijze commode", zelfs als de woorden niet perfect overeenkomen.

Om dit op te lossen, leren wetenschappers computers het gebruik van "Large Language Models" (LLM's) — superintelligente AI-hersenen die kunnen lezen en schrijven zoals mensen. Het doel is om deze AI's te laten beoordelen hoe relevant een zoekresultaat is, precies zoals een mens dat zou doen. Echter, één enkele AI-hersenen vragen om dit allemaal tegelijk te doen, is also wordt als het vragen aan één persoon om tegelijkertijd een kleurexpert, een stijlcriticus en een logische puzzeloplosser te zijn. Ze raken vaak in de war, missen de verbanden, of geven een "goed genoeg" antwoord dat niet helemaal klopt. Dit artikel stelt een eenvoudige maar krachtige vraag: Wat als we niet vertrouwden op één gigantisch brein, maar in plaats daarvan een klein, georganiseerd team van specialisten zouden bouwen die met elkaar communiceren om het puzzelstukje op te lossen?

De auteurs van dit artikel, werkzaam bij Amazon, stellen een nieuw systeem voor genaamd HIERA (Hierarchical Multi-Agent Relevance Assessment). Denk aan HIERA niet als een enkele superdetective, maar als een goed geleid detectiebureau met een strikte commandostructuur. In hun systeem is er niet slechts één agent die al het werk doet. In plaats daarvan hebben ze een "Judge" (rechter) die beslist of een zaak ingewikkeld is, een "Query Analyst" die uitzoekt wat de gebruiker echt wil, een "Item Analyst" die het product of de film in detail bestudeert, en een "Relation Analyst" die optreedt als de teamkapitein door de punten tussen de wens van de gebruiker en de realiteit van het item met elkaar te verbinden.

Het artikel concludeert dat deze georganiseerde teamaanpak aanzienlijk beter is dan de oude methoden. Wanneer ze HIERA testten op vijf verschillende datasets — variërend van zoekopdrachten naar films tot producten voor woningverbetering — versloeg het 11 andere methoden. Op een dataset genaamd EVS (entertainment video search) verbeterde HIERA de nauwkeurigheid bijvoorbeeld met een enorme 38% vergeleken met de beste vorige methode. Op de Home Depot-dataset verbeterde het met 10,2%.

Cruciaal is dat de onderzoekers bewezen dat de magie niet alleen zat in het hebben van meer agents of meer informatie. Ze voerden experimenten uit waarbij ze dezelfde agents en dezelfde externe kennis gaven aan een systeem waar iedereen alleen werkte en aan het einde simpelweg stemde over het antwoord. Dat "platte" team presteerde veel slechter. Sterker nog, wanneer ze externe kennis toevoegden aan de oude, ongecoördineerde methoden, werden die methoden zelfs slechter. Dit suggereert dat het geheime ingrediënt de hiërarchie is: de specifieke manier waarop de agents met elkaar communiceren, waarbij de "Relation Analyst" de bevindingen synthetiseert tot een samenhangend verhaal voordat de uiteindelijke "Judge" een beslissing neemt.

Het artikel laat zien dat voor complexe taken waarbij je tegelijkertijd stijl, kleur, functie en intentie moet begrijpen, een gestructureerd team dat zijn gedachten coördineert superieur is aan een groep individuen die hun meningen naar elkaar schreeuwen of een enkel brein dat probeert alles tegelijk te doen. Hoewel het systeem iets langer nodig heeft om te draaien (ongeveer 35 seconden per zoekopdracht vergeleken met minder dan een seconde voor eenvoudige methoden), is het nog steeds 50 keer sneller dan een menselijke expert en levert het veel betrouwbaardere antwoorden. De auteurs concluderen dat als je een slim zoek-systeem wilt bouwen, investeren in een goede coördinatiestructuur belangrijker is dan simpelweg meer krachtige computers of meer data toevoegen.