LocalSearchBench: Benchmarking Agentic Search in Real-World Local Life Services
Dieses Paper stellt LocalSearchBench vor, den ersten umfassenden Benchmark und die einheitliche Umgebung zur Evaluierung von agentischem Suchen im komplexen, mehrdeutigen Bereich lokaler Lebensdienstleistungen, wobei aufgezeigt wird, dass selbst modernste Large Reasoning Models in realen Szenarien Schwierigkeiten mit Multi-Hop-Schlussfolgerungen, Vollständigkeit und Treue haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bitten einen sehr klugen, belesenen Bibliothekar darum, Ihnen einen perfekten Tag in einer belebten Stadt zu planen. Sie wollen nicht nur eine Liste von Büchern; Sie wollen eine komplexe Reiseroute: „Finden Sie einen Ort, um Brettspiele zu spielen, dann ein Restaurant in der Nähe für das Abendessen und schließlich einen Karaoke-Laden, alle in fußläufiger Entfernung voneinander in Shanghai.“
Genau diese Herausforderung bewältigt das Paper LocalSearchBench. Hier ist eine einfache Aufschlüsselung dessen, was die Forscher getan haben, unter Verwendung alltäglicher Analogien.
1. Das Problem: Der „schlaue“ Bibliothekar verirrt sich
In den letzten Jahren haben wir KI-„Agenten“ gebaut (wie etwa superintelligente Bibliothekare), die das Internet durchsuchen, mehrere Websites lesen und Verbindungen herstellen können, um schwierige Fragen zu beantworten. Zum Beispiel können sie herausfinden, wer einen Film inszeniert hat, der im selben Jahr einen Oscar gewann, in dem eine Rakete startete.
Diese KI-Agenten sind jedoch großartig bei allgemeinem Allgemeinwissen, aber schrecklich bei lokalen Lebensdienstleistungen. Wenn man sie fragt, ein spezifisches Café in der Nähe eines bestimmten U-Bahnhofs zu finden, das zu einer bestimmten Zeit geöffnet hat, kommen sie oft durcheinander. Sie haben Schwierigkeiten damit:
- Zu verstehen, dass „in der Nähe“ fußläufig bedeutet und nicht nur „in derscher Stadt“.
- Mehrere Schritte miteinander zu verknüpfen (z. B. Finde das Museum Finde ein Café in der Nähe des Museums Finde einen Kiosk in der Nähe des Cafés).
- Die unordentlichen Details des realen Geschäftslebens zu handhaben (Preise, Öffnungszeiten, Bewertungen).
2. Die Lösung: Den „Trainingsgym“ bauen (LocalSearchBench)
Um dies zu beheben, haben die Forscher von Meituan und mehreren Universitäten einen riesigen Trainingsplatz namens LocalSearchBench geschaffen. Betrachten Sie dies als ein riesiges, realistisches Videospiel-Level, das speziell darauf ausgelegt ist, zu testen, wie gut diese KI-Agenten eine Stadt navigieren können.
- Die Datenbank (Die Stadtkarte): Sie haben eine digitale Karte erstellt, die über 1,3 Millionen echte Unternehmen (Restaurants, Hotels, Geschäfte usw.) in 9 großen chinesischen Städten enthält. Sie haben diese Daten bereinigt, fehlende Details (wie Öffnungszeiten) hinzugefüt und private Informationen entfernt, damit sie sicher nutzbar sind.
- Die Testfragen (Die Missionen): Sie haben nicht nur einfache Fragen gestellt wie „Wo ist ein Pizza-Laden?“ Stattdessen haben sie 900 komplexe Missionen erstellt.
- Einfache Mission: „Finde das am besten bewertete Café in der Nähe des People's Square.“
- Komplexe Mission: „Ich besuche eine ägyptische Ausstellung in Shanghai. Danach brauche ich ein ruhiges Café zum Entspannen und einen Kiosk für Snacks. Finde mir eine Route, bei der sich beide innerhalb desselben U-Bahnhofs befinden.“
3. Der Spielplatz: Die „Simulationsarena“ (LocalPlayground)
Um die KI zu testen, haben sie eine Simulationsarena namens LocalPlayground gebaut.
- Stellen Sie sich vor, die KI ist ein Detektiv. Sie hat zwei Werkzeuge: Einen Local RAG (einen superschnellen Index der 1,3 Millionen lokalen Unternehmen) und eine Websuche (um Echtzeit-News oder Events zu prüfen).
- Die KI muss diese Werkzeuge Schritt für Schritt einsetzen. Sie darf nicht einfach raten; sie muss „denken“, suchen, einen Hinweis finden, erneut suchen, basierend auf diesem Hinweis suchen und schließlich die Antwort zusammensetzen.
4. Das Ergebnis: Die KI ist noch ein Neuling
Die Forscher haben 16 der klügsten KI-Modelle der Welt (einschließlich großer Namen wie DeepSeek, GPT und Gemini) in dieser Simulation getestet. Die Ergebnisse waren überraschend:
- Die Punktzahl: Selbst das beste KI-Modell hat nur 35,6 % der Antworten korrekt beantwortet. Das ist so, als würde man eine Prüfung mit einer 4-minus bestehen.
- Die Schwierigkeiten:
- Vollständigkeit: Die KI vergaß oft Teile der Anfrage (z. B. fand sie das Café, vergaß aber den Kiosk).
- Treue (Faithfulness): Die KI hat manchmal „halluziniert“ (Dinge erfunden) oder behauptet, ein Geschäft hätte eine Bewertung, die es gar nicht hatte.
- Logik (Reasoning): Die KI verlor sich oft mitten in der Kette. Wenn der erste Schritt falsch war, brach der gesamte Plan zusammen.
5. Warum das wichtig ist
Das Paper kommt zu dem Schluss, dass KI zwar klüger bei allgemeinem Wissen wird, aber immer noch sehr unbeholfen ist, wenn es um die Details lokaler Dienstleistungen in der realen Welt geht.
- Das Fazit: Man kann nicht einfach eine allgemeine KI nehmen und erwarten, dass sie bereits ein perfekter Reiseleiter oder lokaler Guide ist. Sie benötigt spezialisiertes Training und bessere Benchmarks (wie das, welches sie gebaut haben), um zu lernen, wie man mit der Komplexität des echten Lebens umgeht, wo Geografie, Zeitplanung und mehrere Einschränkungen gleichzeitig eine Rolle spielen.
Kurz gesagt: Das Paper sagt: „Wir haben eine harte Prüfung für KI-Agenten gebaut, um zu sehen, ob sie die Stadtplanung im echten Leben bewältigen können. Sie sind durch die Prüfung gefallen, was zeigt, dass wir noch einen weiten Weg vor uns haben, bevor KI wirklich als zuverlässiger lokaler Guide agieren kann.“
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.