HIERA: Hierarchical Multi-Agent Relevance Assessment for Content Discovery Systems

Stellen Sie sich vor, Sie versuchen, den perfekten Film zu finden oder das exakte Werkzeug, das Sie für ein Heimwerkerprojekt benötigen. Sie geben ein paar Wörter in eine Suchleiste ein, und ein Computer muss erraten, was Sie wirklich meinen. Dies ist die Welt der „Content Discovery“ (Inhaltsentdeckung), in der Algorithmen wie digitale Bibliothekare oder Verkäufer agieren. Aber hier liegt der Knackpunkt: Computer besitzen keine menschliche Intuition. Es fällt ihnen schwer zu verstehen, dass „metallisches Quecksilber-Finish“ für einen Menschen eigentlich „grau“ bedeuten könnte oder dass eine „7-Schubladen-Kommode“ dem Bedürfnis nach einer „grauen Kommode“ entspricht, selbst wenn die Wörter nicht perfekt übereinstimmen.

Um dies zu beheben, bringen Wissenschaftler Computern bei, „Large Language Models“ (LLMs) zu nutzen – superintelligente KI-Gehirne, die lesen und schreiben können wie Menschen. Das Ziel ist es, diese KIs dazu zu bringen, zu beurteilen, wie relevant ein Suchergebnis ist, genau wie ein Mensch es tun würde. Doch eine einzelne KI zu bitten, dies alles auf einmal zu erledigen, ist so, als würde man eine einzige Person bitten, gleichzeitig Farbexperte, Stilkritiker und Logikrätsel-Löser zu sein. Sie werden oft verwirrt, übersehen Zusammenhänge oder liefern eine Antwort, die „gut genug“ ist, aber nicht ganz richtig. Diese Arbeit stellt eine einfache, aber kraftvolle Frage: Was wäre, wenn wir uns nicht auf ein einziges riesiges Gehirn verlassen würden, sondern stattdiet ein kleines, organisiertes Team von Spezialisten aufbauen würden, die miteinander kommunizieren, um das Rätsel zu lösen?

Die Autoren dieser Arbeit, die bei Amazon arbeiten, schlagen ein neues System namens HIERA (Hierarchical Multi-Agent Relevance Assessment) vor. Betrachten Sie HIERA nicht als einen einzelnen Superdetektiv, sondern als eine gut geführte Detektei mit einer strengen Befehlskette. In ihrem System gibt es nicht nur einen Agenten, der die ganze Arbeit erledigt. Stattdessen haben sie einen „Judge“ (Richter), der entscheidet, ob ein Fall knifflig ist, einen „Query Analyst“ (Anfragen-Analysten), der herausfindet, was der Nutzer wirklich will, einen „Item Analyst“ (Artikel-Analysten), der das Produkt oder den Film im Detail studiert, und einen „Relation Analyst“ (Beziehungs-Analysten), der als Teamkapitän fungiert und die Verbindung zwischen dem Wunsch des Nutzers und der Realität des Artikels herstellt.

Die Arbeit stellt fest, dass dieser organisierte Teamansatz signifikant besser ist als die alten Methoden. Als sie HIERA an fünf verschiedenen Datensätzen testeten – die von der Filmsuche bis hin zu Produkten für den Heimwerkerbereich reichten – schlug es 11 andere Methoden. Beispielsweise verbesserte HIERA auf einem Datensatz namens EVS (Entertainment Video Search) die Genauigkeit im Vergleich zur besten bisherigen Methode um massive 38 %. Auf dem Home-Depot-Datensatz verbesserte es sich um 10,2 %.

Entscheidend war, dass die Forscher bewiesen, dass die Magie nicht einfach darin lag, mehr Agenten oder mehr Informationen zu haben. Sie führten Experimente durch, bei denen sie denselben Agenten und dasselbe Außenwissen einem System gaben, in dem jeder alleine arbeitete und am Ende nur über die Antwort abstimmte. Dieses „flache“ Team schnitt viel schlechter ab. Tatsächlich, als sie Außenwissen zu den alten, unkoordinierten Methoden hinzufügten, wurden diese Methoden sogar schlechter. Dies deutet darauf hin, dass das „Geheimrezept“ die Hierarchie ist: die spezifische Art und Weise, wie die Agenten miteinander kommunizieren, wobei der „Relation Analyst“ die Ergebnisse synthetisiert, um eine kohärente Geschichte zu erstellen, bevor der „Judge“ eine Entscheidung trifft.

Die Arbeit zeigt, dass für komplexe Aufgaben, bei denen man gleichzeitig Verständnis für Stil, Farbe, Funktion und Absicht benötigt, ein strukturiertes Team, das seine Gedanken koordiniert, weitaus überlegen ist gegenüber einer Gruppe von Individuen, die ihre Meinungen zuruffen, oder einem einzelnen Gehirn, das versucht, alles auf einmal zu machen. Obwohl das System etwas länger braucht, um zu laufen (etwa 35 Sekunden pro Suche im Vergleich zu weniger als einer Sekunde bei einfachen Methoden), ist es immer noch 50-mal schneller als ein menschlicher Experte und liefert wesentlich zuverlässigere Antworten. Die Autoren kommen zu dem Schluss, dass man, wenn man ein intelligentes Suchsystem bauen möchte, in eine gute Koordinationsstruktur investieren sollte, anstatt einfach nur leistungsfähigere Computer oder mehr Daten hinzuzufügen.