Measuring brands in machine answers: A scoping review and validity framework for large language model brand-visibility audits
Deze scoping review van 38 empirische studies onthult dat huidige audits naar de zichtbaarheid van merken door AI te kampen hebben met aanzienlijke validiteitsverschillen en tegenstrijdige conclusies als gevolg van methodologische inconsistenties en commerciële vooroordelen, wat de auteur ertoe aanzet een tweestaps theoretisch kader en nieuwe rapportagestandaarden voor te stellen om de tegenstrijdigheden tussen merkinclusie en -selectie in antwoorden van grote taalmodellen te verzoenen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne markt hangt het succes van een merk vaak af van de vraag of het op het juiste moment in de geest van een consument komt. Decennialang hebben marketeers de "overwegingsset" bestudeerd, een mentale shortlist van producten waar een persoon actief aan denkt voordat hij een aankoop doet. Als een merk niet op die lijst staat, is het effectief onzichtbaar, ongeacht hoe goed het product ook is. Vandaag de dag is er een nieuwe poortwachter verschenen tussen de shopper en die mentale lijst: de kunstmatige intelligentie-assistent. Wanneer een persoon een groot taalmodel vraagt naar de beste wandeljas of een betrouwbare accountant, geeft de machine niet simpelweg een lijst met links terug. Het genereert een korte, gerangschikte lijst van specifieke merken, vaak met een korte uitleg. Dit antwoord fungeert als een vooraf geselecteerd menu, dat bepaalt welke opties de mens überhaupt zal overwegen.
De vraag die onderzoekers en bedrijfsleiders bezighoudt, is of deze door machines gegenereerde lijsten eerlijk, accuraat of zelfs stabiel zijn. Bevoordelen ze simpelweg de grootste, bekendste bedrijven, of belonen ze kwaliteit? Krijgen kleinere, lokale bedrijven een kans, of zijn die merken volledig buitengesloten? Omdat deze systemen voortdurend veranderen en hun interne logica verborgen is, vereist het beantwoorden van deze vragen een nieuw soort onderzoek. We kunnen niet simpelweg in de machine kijken; we moeten het duizenden vragen stellen en de antwoorden die het teruggeeft zorgvuldig analyseren.
Een recente scoping review door onafhankelijk onderzoeker Charbel Sami Ibrahim pakt exact dit probleem aan. De studie fungeert als een kaart van een snelgroeiend veld en onderzoekt achttig verschillende onderzoeken die tussen 2024 en 2026 zijn uitgevoerd waarbij grote taalmodellen werden gevraagd om merken aan te bevelen. Het doel was niet om één enkel, perfect antwoord te vinden, maar om te begrijpen waarom deze verschillende studies vaak tot tegenstrijdige conclusies komen. Sommige rapporten beweren dat beroemde merken elke reactie domineren, terwijl andere suggereren dat kleinere merken kunnen concurreren als ze goede beoordelingen hebben. Door de methoden die in elk onderzoek werden gebruikt te vergelijken, laat de review zien dat deze tegenstrijdigheden niet noodzakelijkerwijs over de merken zelf gaan, maar over hoe de vragen werden gesteld en hoe de antwoorden werden geteld.
De review concludeerde dat het veld zich nog in een vroege, fragiele fase bevindt. De meeste onderzoeken die werden geëxamineerd, waren niet peer-reviewed door onafhankelijke experts, en velen werden uitgevoerd door groepen met een commercieel belang bij het verkopen van tools om de zichtbaarheid van merken te verbeteren. Bovendien zijn de gegevens vaak incompleet; veel studies herhaalden hun vragen niet vaak genoeg om te garanderen dat de resultaten stabiel waren, en weinig controleerden hun bevindingen tegen de echte wereldmarktgegevens zoals verkoopcijfers of merkbekendheidsonderzoeken. De onderzoeker identificeerde een kritiek gebrek in de opbouw van veel studies: ze maken vaak geen onderscheid tussen twee zeer verschillende stadia van het proces. Het eerste stadium is of een merk überhaupt in het antwoord verschijnt. Het tweede stadium is of dat merk hoog wordt gerangschikt of wordt aanbevolen boven anderen zodra het al is opgenomen.
Wanneer de review deze twee stadia van elkaar scheidt, ontstaat er een duidelijker beeld. Het bewijs suggereert dat het in de eerste plaats krijgen van een merk in het antwoord sterk afhankelijk is van hoeveel tekst er online over dat merk bestaat. Als een bedrijf goed gedocumenteerd is op websites, in reviews en in directory's, is het veel waarschijnlijker dat het in de lijst van de machine wordt opgenomen. Dit is een kwestie van "lidmaatschap". Echter, zodra een merk op de lijst staat, lijken de regels te veranderen. De review suggereert dat wanneer de machine moet kiezen tussen verschillende merken die al zijn opgenomen, de machine meer kan vertrouwen op specifieke attributen, zoals klantbeoordelingen of prijs, in plaats van alleen op de bekendheid van het merk. Dit betekent dat een kleiner merk met uitstekende beoordelingen een beroemd merk met slechte beoordelingen kan verslaan, maar alleen als het kleinere merk het geluk had om in de lijst te worden opgenomen.
De studie benadrukt ook hoe gemakkelijk de resultaten kunnen worden beïnvloed door de gebruikte taal of de locatie van de persoon die de vraag stelt. Het stellen van een vraag in een lokale taal brengt vaak lokale bedrijven naar voren die nooit in een Engelstalige zoekopdracht zouden verschijnen. Op dezelfde manier kan de specifieke versie van het AI-model die wordt gebruikt, de gehele set aan aanbevolen merken veranderen. Daarom is een enkel getal dat beweert de "zichtbaarheid" van een merk aan te tonen, vaak misleidend. Een merk kan in 90 procent van de antwoorden verschijnen op het ene platform, maar slechts in 10 procent op een ander, waardoor een gecombineerde score betekenisloos is zonder de context te kennen.
Misschien wel de belangrijkste bevinding is dat het ontwerp van de studie zelf bepaalt wat het vindt. Studies die de machine simpelweg vragen om vanaf nul merken te noemen, hebben de neiging om een enorme voorsprong voor de grootste, bekendste bedrijven aan te tonen. Daarentegen laten studies die de machine voorzien van een vaste lijst met opties en vragen om de beste te kiezen, vaak zien dat beroemde merken hun voordeel verliezen als een kleinere concurrent betere attributen heeft. Dit verklaart waarom sommige rapporten zeggen dat grote merken de AI-wereld regeren terwijl andere zeggen dat het speelveld gelijk is; ze meten verschillende delen van het proces. De review concludeert dat om echt te begrijpen hoe deze machines merken behandelen, onderzoekers en managers moeten stoppen met het zoeken naar een enkele score. In plaats daarvan moeten ze inclusie en selectie apart meten, veel verschillende versies van dezelfde vraag stellen en verifiëren of de machine daadwerkelijk de juiste merken identificeert. Totdat aan deze standaarden wordt voldaan, blijven de cijfers die worden gebruikt om marketingbudgetten te sturen onzeker, en blijft de werkelijke impact van kunstmatige intelligentie op de merkconcurrentie een puzzel met veel ontbrekende stukjes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.