Invisible to the Machine: Auditing AI Restaurant, Cafe, and Bar Recommendation Against a Complete Market Census
Diese Arbeit präsentiert die erste auf einer Volkszählung basierende Prüfung der KI-Empfehlungen für Veranstaltungsorte in Bali und zeigt auf, dass 85,6 % der lokalen Restaurants, Cafés und Bars aufgrund mangelnder digitaler Dokumentation und nicht wegen schlechter Bewertungen für die wichtigsten KI-Systeme unsichtbar sind, während gleichzeitig hervorgehoben wird, dass die primäre Fehlerquelle die Empfehlung veralteter Veranstaltungsorte ist und nicht die Erfindung nicht existenter Orte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spazieren durch eine riesige, belebte Stadt, in der jeder einzelne Laden, jedes Café und jedes Restaurant in einem massiven, unsichtbaren Telefonbuch aufgeführt ist. Stellen Sie sich nun vor, es gäbe eine neue Art von magischem Reiseführer, der Ihnen nicht nur eine Liste von Optionen zeigt, sondern tatsächlich zu Ihnen spricht und Ihnen genau sagt, wohin Sie für einen Kaffee oder ein Abendessen gehen sollen. Das ist es, was Künstliche Intelligenz (KI) bei der Suche nach lokalen Orten wird. Aber hier ist der knifflige Teil: Dieser magische Reiseführer zeigt Ihnen nicht alles. Er sucht sich ein paar Favoriten aus und ignoriert den Rest. Wissenschaftler nennen das „Empfehlung“, aber für die Geschäfte, die ignoriert werden, fühlt es sich an, als wären sie unsichtbar.
Lange Zeit wussten wir, dass ein Geschäft mehr Besucher anzieht, wenn es eine gute Bewertung erhält oder auf einer Karte erscheint. Aber wir wussten nicht, wie dieser neue KI-Reiseführer funktioniert. Wählt er die besten Orte aus? Wählt er die berühmtesten aus? Oder wählt er einfach die Orte aus, die eine Website haben? Um das herauszufinden, musste ein Forscher den Reiseführer gegen die gesamte Stadt prüfen, nicht nur gegen ein paar berühmte Orte. Er musste wissen: Wenn du ein echtes, offenes Geschäft bist, wie hoch ist die Chance, dass die KI dich überhaupt wahrnimmt?
Die große KI-Restaurant-Jagd
Ein Forscher beschloss, ein riesiges Versteckspiel mit vier populären KI-Assistenten (ChatGPT, Claude, Gemini und Perplexity) zu spielen. Er wählte zwei geschäftige Gebiete in Bali, Indonesien – Canggu und Ubud – als seinen Spielplatz. Zuerst tat er etwas, das noch nie zuvor getan wurde: Er erstellte eine vollständige Volkszählung jedes einzelnen Cafés, Restaurants und Bars in diesen Gebieten. Er zählte 4.776 Betriebe. Betrachten Sie dies als das Erstellen einer Masterliste für jeden einzelnen Spieler im Spiel.
Dann schickte er die KI-Assistenten auf eine Mission. Er stellte den KI-Assistenten 96 verschiedene Fragen und gab sich dabei als unterschiedliche Typen von Menschen aus: ein digitaler Nomade, der nach WLAN sucht, ein Paar beim Date, eine Familie mit Kindern oder ein preisbewusster Backpacker. Er stellte diese Fragen über sieben Tage hinweg und führte den Test insgesamt 2.208 Mal durch. Das Ziel war einfach: zu sehen, welche der 4.776 echten Läden die KI tatsächlich empfehlen würde.
Das schockierende Ergebnis: Die meisten Orte sind unsichtbar
Die Ergebnisse waren erschütternd. Von den 4.776 echten Orten wurden die KI-Assistenten 85,6 % dieser Orte niemals empfohlen. Das ist richtig: Mehr als 8 von 10 Orten waren für die KI völlig unsichtbar, egal wie oft man fragte. Selbst unter den „etablierten“ Betrieben – also jenen mit mindestens 50 Bewertungen und einem soliden Ruf – wurden 72,6 % nie erwähnt.
Es war nicht so, dass die KI die „besten“ 10 % auswählte und den Rest ignorierte. Die Orte, die tatsächlich empfohlen wurden, waren weit verstreut. Der mit Abstand populärste Ort erhielt nur etwa 1,9 % aller Empfehlungen. Es war keine „Winner-takes-all“-Situation, in der ein berühmter Ort alles bekam; es war eher wie eine Lotterie, bei der die meisten Lose niemals gezogen werden.
Der Zwei-Stufen-Filter: Reinzukommen vs. an die Spitze kommen
Der Forscher entdeckte, dass eine Empfehlung durch eine KI in zwei sehr unterschiedlichen Schritten erfolgt, ähnlich wie ein zweistufiger Raketenstart.
Stufe 1: Einen Platz am Tisch bekommen (Die Eintrittsmarge)
Bevor eine KI einen Ort überhaupt bewerten kann, muss sie entscheiden, ihn überhaupt zu erwähnen. Die Studie fand heraus, dass Sternebewertungen hier keine Rolle spielen. Ein Ort konnte 5 Sterne oder 3 Sterne haben, und das änderte nichts an seiner Chance, ausgewählt zu werden. Stattdessen war die Dokumentation entscheidend.
- Bewertungsvolumen: Orte mit mehr Bewertungen wurden eher gesehen.
- Eigene Website: Eine eigene Website erhöhte die Wahrscheinlichkeit einer Empfehlung fast um das Doppelte.
- Preisinformationen: Die Angabe von Preisen half.
- Web-Erwähnungen: Erwähnungen auf anderen Websites halfen.
Es ist, als ob die KI nach einer „Papierspur“ sucht. Wenn ein Ort eine Website und viele Bewertungen hat, sagt die KI: „Okay, dieser Ort existiert, ich setze ihn auf die Liste.“ Wenn er diese digitalen Fußabdrücke nicht hat, tut die KI so, als existiere er nicht, ungeachtet dessen, wie gut das Essen ist.
Stufe 2: Das Rennen gewinnen (Die Ranking-Marge)
Sobald ein Ort auf der Liste steht, spielt dann die Sternebewertung eine Rolle. Unter den Orten, die die KI tatsächlich zu empfehlen entschied, wurden die mit höheren Bewertungen eher an erster Stelle gelistet. Bewertungen helfen also dabei, das Rennen zu gewinnen, aber eine Website und Rezensionen sind das, was einen überhaupt erst in das Stadion lässt.
Was nicht funktionierte
Der Forscher testete einige Ideen, die Menschen in der Branche für wichtig hielten, und stellte fest, dass sie falsch lagen.
- Foursquare-Präsenz: Viele dachten, wenn ein Ort im offenen Datensatz Foursquare gelistet ist, würde die KI ihn finden. Die Studie bewies dies als falsch. Die Präsenz auf Foursquare half überhaupt nicht.
- Falsche Orte: Die Leute sorgten sich, dass die KI fiktive Restaurants erfinden würde (Halluzinationen). Dies geschah zwar, war aber extrem selten (nur 0,08 % der Zeit).
- Das eigentliche Problem: Der größte Fehler der KI war nicht das Erfinden von Dingen, sondern das Empfehlen von Orten, die dauerhaft geschlossen waren. Die KI empfahl 93 geschlossene Betriebe. Die KI log nicht; sie war einfach nur veraltet.
Der instabile Reiseführer
Schließlich fand der Forscher heraus, dass die KI etwas sprunghaft ist. Wenn man dieselbe Frage zweimal hintereinander stellt, bekommt man vielleicht eine andere Liste von Restaurants. Wenn man dieselbe Frage stellt, aber die Worte leicht verändert (paraphrasiert), ändert sich die Liste noch mehr. Als sie die KI jedoch zwei Wochen später testeten, waren die Ergebnisse genauso sprunghaft wie am ersten Tag. Das bedeutet, dass die KI nicht langsam Dinge vergisst; sie ist einfach von Natur aus inkonsistent, wie ein Freund, der dir je nach Stimmung unterschiedliche Wegbeschreibungen gibt.
Das Fazit
Diese Studie zeigt, dass für ein Restaurant oder Café eine großartige Bewertung allein nicht ausreicht. Man muss zuerst in der digitalen Welt „dokumentiert“ sein. Wenn man keine Website, klare Preise oder viele Rezensionen hat, kann die KI einen so gut wie nicht wahrnehmen. Und für die KI selbst ist das größte Problem nicht, dass sie Dinge erfindet, sondern dass sie Orte empfiehlt, die bereits ihre Türen geschlossen haben. Der magische Reiseführer ist mächtig, aber er ist derzeit für den Großteil der realen Welt blind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.