Invisible to the Machine: Auditing AI Restaurant, Cafe, and Bar Recommendation Against a Complete Market Census
Dit artikel presenteert de eerste op een volkstelling gebaseerde audit van AI-locatieaanbevelingen in Bali, die onthult dat 85,6% van de lokale restaurants, cafés en bars onzichtbaar is voor belangrijke AI-systemen vanwege een gebrek aan digitale documentatie in plaats van slechte beoordelingen, terwijl het tevens benadrukt dat de primaire foutmodus het aanbevelen van verouderde locaties is in plaats van het fabriceren van niet-bestaande zaken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, bruisende stad loopt waar elke winkel, café en restaurant staat vermeld in een gigantische, onzichtbare telefoonboekenlijst. Stel je nu een nieuw soort magische gids voor die niet alleen een lijst met opties laat zien, maar ook echt tegen je praat, en je precies vertelt waar je heen moet voor koffie of het diner. Dit is wat Kunstmatige Intelligentie (AI) aan het worden is voor het vinden van lokale plekken. Maar hier komt de lastige kant: deze magische gids laat je niet alles zien. Hij kiest een paar favorieten uit en negeert de rest. Wetenschappers noemen dit "aanbeveling" (recommendation), maar voor de winkels die genegeerd worden, voelt het alsof ze onzichtbaar zijn.
Lange tijd wisten we al dat als een winkel een goede beoordeling krijgt of op een kaart verschijnt, er meer mensen langskomen. Maar we wisten niet hoe deze nieuwe AI-gids werkt. Kiest hij de beste plekken? Kiest hij de meest beroemde plekken? Of kiest hij gewoon plekken die een website hebben? Om dat te ontdekken, moest een onderzoeker de gids controleren tegenover de volledige stad, en niet alleen tegenover een paar beroemde plekken. De onderzoeker moest weten: als je een echte, openstaande winkel bent, wat zijn dan de kansen dat de AI je überhaupt wel ziet bestaan?
De Grote AI-Restaurantjacht
Een onderzoeker besloot een groot spelletje "verstoppertje spelen" te spelen met vier populaire AI-assistenten (ChatGPT, Claude, Gemini en Perplexity). De onderzoeker koos twee drukke gebieden in Bali, Indonesië — Canggu en Ubud — als speelveld. Eerst deed de onderzoeker iets wat nog nooit eerder was gedaan: een volledige volkstelling maken van elk café, restaurant en bar in die gebieden. Er werden 4.776 locaties geteld. Zie dit als het maken van een meesterlijst van elke speler in het spel.
Daarna stuurde de onderzoeker de AI-assistenten op een missie. De onderzoeker stelde de AI 96 verschillende vragen, waarbij werd gedaan alsof men verschillende soorten mensen was: een digitale nomade die op zoek is naar Wi-Fi, een stel op een date, een gezin met kinderen, of een budgetreizende backpacker. Deze vragen werden gedurende zeven dagen gesteld, in totaal 2.208 keren. Het doel was simpel: zien welke van de 4.776 echte winkels de AI daadwerkelijk zou aanbevelen.
De Schokkende Resultaat: De Meeste Plekken Zijn Onzichtbaar
De bevindingen waren verbijsterend. Van de 4.776 echte plekken aanbeval de AI-assistent nooit 85,6% van hen. Dat klopt: meer dan 8 op de 10 plekken waren volledig onzichtbaar voor de AI, ongeacht hoe vaak er gevraagd werd. Zelfs onder de "gevestigde" zaken — die minstens 50 beoordelingen en een solide reputatie hadden — werden 72,6% nooit genoemd.
Het was niet zo dat de AI de "beste" 10% uitkoos en de rest negeerde. De plekken die wel werden aanbevolen, waren verspreid. De meest populaire plek kreeg slechts ongeveer 1,9% van alle aanbevelingen. Het was geen "winner-take-all" situatie waarbij één beroemde plek alles kreeg; het was meer als een loterij waarbij de meeste loten nooit worden getrokken.
De Twee-Stappen-Filter: Binnenkomen vs. De Top Bereiken
De onderzoeker ontdekte dat het krijgen van een aanbeveling door AI in twee heel verschillende stappen gebeurt, zoals een tweetrapsraket.
Fase 1: Een Stoel aan Tafel Krijgen (De Toelatingsmarge)
Voordat een AI een plek zelfs maar kan rangschikken, moet de AI eerst beslissen om de plek überhaupt te noemen. De studie vond dat sterbeoordelingen hier niet uitmaken. Een plek kon 5 sterren of 3 sterren hebben, en dat veranderde niets aan de kans om gekozen te worden. In plaats daarvan was documentatie van belang.
- Aantal beoordelingen: Plekken met meer beoordelingen hadden een grotere kans om gezien te worden.
- Eigen website: Het hebben van een eigen website maakte je bijna twee keer zo waarschijnlijk om aanbevolen te worden.
- Prijsinformatie: Het vermelden van je prijzen hielp.
- Webvermeldingen: Het feit dat er over je werd gesproken op andere websites, hielp ook.
Het is alsof de AI op zoek is naar een "papieren spoor". Als een plek een website en veel beoordelingen heeft, zegt de AI: "Oké, deze plek bestaat, ik zal hem op de lijst zetten." Als een plek die digitale voetafdruk niet heeft, doet de AI alsof de plek niet bestaat, ongeacht hoe goed het eten is.
Fase 2: De Race Winnen (De Rangschikkingsmarge)
Zodra een plek op de lijst staat, wordt de sterbeoordeling dan pas belangrijk. Onder de plekken die de AI daadwerkelijk besloot aan te bevelen, waren de plekken met hogere beoordelingen eerder geneigd om bovenaan de lijst te staan. Dus beoordelingen helpen je om de race te winnen, maar het hebben van een website en beoordelingen is wat je het stadion in helpt.
Wat Niet Werkte?
De onderzoeker testte een aantal ideeën die mensen in de sector belangrijk vonden, en ontdekte dat zij ernaast zaten.
- Aanwezigheid op Foursquare: Veel mensen dachten dat als een plek in de open kaartgegevens van Foursquare stond, de AI die zou vinden. De studie bewees dit als onwaar. Aanwezig zijn op Foursquare hielp totaal niet.
- Nep-plekken: Mensen maakten zich zorgen dat de AI neprestaurants zou verzinnen (hallucinaties). Hoewel dit gebeurde, was het extreem zeldzaam (slechts 0,08% van de tijd).
- Het Echte Probleen: De grootste fout van de AI was niet het verzinnen van dingen; het was het aanbevelen van plekken die permanent gesloten waren. De AI aanbeval 93 gesloten locaties. De AI loog niet; het was gewoon verouderd.
De Onstabiele Gids
Ten slotte vond de onderzoker dat de AI een beetje nerveus is. Als je twee keer achter elkaar dezelfde vraag stelt, krijg je misschien een andere lijst met restaurants. Als je dezelfde vraag stelt maar de woorden iets verandert (parafraseren), verandert de lijst nog meer. Echter, toen de onderzoeker de AI twee weken later testte, waren de resultaten net zo grillig als op dag één. Dit betekent dat de AI niet langzaam dingen vergeet in de loop van de tijd; het is gewoon van nature inconsistent, zoals een vriend die je steeds andere richtingen geeft afhankelijk van hun stemming.
De Kern van het Verhaal
Deze studie laat zien dat voor een restaurant of café een geweldige beoordeling niet genoeg is om gezien te worden. Je moet eerst "gedocumenteerd" zijn in de digitale wereld. Als je geen website, duidelijke prijzen of veel beoordelingen hebt, kan de AI je net zo goed niet kennen. En voor de AI zelf is het grootste probleem niet dat het dingen verzint, maar dat het plekken aanbeveelt die de deuren al lang hebben gesloten. De magische gids is krachtig, maar is momenteel blind voor de meerderheid van de echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.