Category-Conditioned Web Exposure Tracks Brand Presence in ChatGPT Fanout Queries

Wanneer je een moderne, met internet verbonden kunstmatige intelligentie vraagt naar de beste camera's of de beste projectmanagementtools, scant de machine niet simpelweg het web en pikt de eerste paar resultaten die hij vindt. Voordat de AI ook maar één webpagina bekijkt, schrijft hij zijn eigen zoekopdracht. Dit eerste concept, dat in een fractie van een seconde wordt gemaakt, bevat vaak specifieke merknamen zoals Canon of Sony. Dit gebeurt voordat een mens of computer de werkelijke zoekresultaten heeft gezien. De machine besluit in feite vooraf over welke bedrijven hij bereid is om te praten. Deze vroege beslissing is cruciaal, omdat de zoekmachine vervolgens op zoek gaat naar pagina's over die specifieke merken, waardoor ze veel groter deel uitmaken van het uiteindelijke antwoord. Als een merk wordt weggelaten uit dat eerste concept, is het bijna onzichtbaar, zelfs als de machine weet dat het merk bestaat.

Dit roept een verwarrende vraag op voor iedereen die probeert te begrijpen hoe deze systemen werken: als de AI een merk kent, waarom laat hij het dan soms weg uit dat eerste concept? Vergeet de machine het merk, of maakt hij een bewuste keuze? Een nieuw onderzoek door onafhankelijk onderzoeker Antony Deroshan onderzoekt exact dit moment van besluitvorming. Het onderzoek richt zich op een specifiek type kunstmatige intelligentie dat het web kan doorzoeken, waarbij gekeken wordt naar hoe het beslist welke bedrijfsnamen het opneemt in zijn initiële zoekverzoek. De studie vraagt zich af of de machine bepaalde merken simpelweg niet kent, of dat hij ze actief wegfiltert op basis van een verborgen regel. De bevindingen suggereren dat de machine de merken heel goed kent, maar gedwongen wordt ze weg te laten omdat hij een strikte limiet heeft voor hoeveel namen hij tegelijkertijd kan vermelden.

Om de mechanica hiervan te begrijpen, moest de onderzoeker eerst onderscheid maken tussen wat de machine weet en wat hij kiest om te zeggen. Hij vroeg de AI, met de internettoegang uitgeschakeld, om de leidende merken te noemen in categorieën zoals e-mailmarketing, klantenserviceprogramma's en camera's. De machine was in staat om veel merken te noemen, inclusief enkele die hij zelden vermeldt wanneer hij daadwerkelijk op het web zoekt. Bijvoorbeeld, wanneer hij werd gevraagd welke merken hem te binnen kwamen bij e-mailmarketing, noemde de machine "Campaign Monitor" in 49 van de 50 pogingen. Echter, wanneer dezelfde machine werd gevraagd om een live-zoekopdracht uit te voeren voor de beste e-mailmarketingtools, nam hij "Campaign Monitor" slechts één keer in de 50 pogingen op in de initiële zoekopdracht. De machine kende het merk duidelijk, maar liet het consequent weg uit het zoekverzoek. Deze kloof tussen kennis en actie bewees dat de weglating geen falen van het geheugen was.

De onderzoeker bouwde vervolgens een simulatie om te achterhalen waarom dit gebeurde. Hij creëerde een versie van de AI die zoekopdrachten kon schrijven, maar niet werd toegestaan om echte websites op te zoeken. Hij testte deze simulator door de AI merken te laten opsommen onder verschillende beperkingen. Wanneer hij de simulator opdracht gaf een zeer korte zoekopdracht te schrijven, liet de simulator precies dezelfde merken weg als de echte machine deed. Maar wanneer hij de simulator opdracht gaf om zoveel mogelijk merken te vermelden, nam hij ze allemaal op, inclusief de merken die normaal gesproken werden weggelaten. Dit onthulde dat de machine merken niet uitsluit omdat hij ze niet leuk vindt of niet kent; hij sluit ze uit omdat hij een strak budget heeft voor hoeveel namen hij in een enkele zin kan passen. De machine is in essentie een bibliothecaris met een zeer korte lijst om op te schrijven. Als de lijst slechts drie namen kan bevatten, kiest hij de top drie, en de vierde beste merk, hoe beroemd ook, komt de lijst volledig niet eens meer te zien.

De studie keek ook naar wat bepaalt welke merken die korte lijst halen. De onderzoeker vond een sterke connectie tussen hoe vaak een merk op het internet verschijnt in relatie tot zijn specifieke categorie en hoe hoog het rankt op de interne lijst van de machine. Als een cameramerk bijvoorbeeld vaak wordt genoemd op websites die ook over camera's praten, is het waarschijnlijker dat het wordt opgenomen in de zoekopdracht. Dit werkt echter alleen als de telling specifiek is voor de categorie. Een bedrijf dat veel verschillende producten maakt, zoals een grote techgigant die camera's, telefoons en computers verkoopt, kan miljoenen websites verschijnen. Als je elke vermelding telt, kan dat bedrijf als het populairste cameramerk lijken. Maar als je alleen de websites telt die specifiek over camera's gaan, kan een ander merk in werkelijkheid prominenter zijn. De studie toonde aan dat de machine aandacht besteedt aan deze specifieke, categorie-gerichte populariteit. Het rangschikt merken op basis van hoe zichtbaar ze zijn binnen hun specifieke vakgebied, en niet alleen hoe beroemd het bedrijf in algemene zin is.

Om te testen of dit patroon ook standhield voor nieuwe categorieën, paste de onderzoeker dezelfde methode toe op software voor elektronische handtekeningen, een groep merken die hij nog niet had bestudeerd. Hij mat hoe vaak elk merk verscheen op websites gerelateerd aan het ondertekenen van documenten en vergeleken dat met hoe vaak de machine hen in zijn gesimuleerde zoeklijsten opnam. De resultaten kwamen bijna perfect overeen. De merken die het vaakst op relevante websites verschenen, waren de merken die de machine koos om op te nemen in zijn korte lijst. Dit suggereert dat de interne rangschikking van de machine diep geworteld is in hoe de merken op het web worden gerepresenteerd, specifiek in de context van de gestelde vraag. De machine verzint deze voorkeuren niet; hij reflecteert de structuur van de informatie die hij van het internet heeft geleerd.

Het onderzoek sloot ook verschillende andere verklaringen uit. Er werd getest of de machine bepaalde merken simpelweg de voorkeur gaf boven andere merken tijdens het lezen van tekst, ongeacht de zoekopdracht. In één test kreeg de machine drie identieke beschrijvingen van een fictief bedrijf te zien, waarbij alleen de merknaam veranderd was. Hij koos consequent één merk boven de anderen, wat een lichte voorkeur toonde. Echter, deze voorkeur kwam niet overeen met de merken die hij koos voor zijn zoekopdrachten. De machine kan een merk leuk vinden bij het lezen van een beschrijving, maar kiest andere merken wanneer hij beslist wat hij wil zoeken. Dit bewijst dat de beslissing om een merk op te nemen in een zoekopdracht een apart proces is van simpelweg een merknaam leuk vinden. De studie controleerde ook of het verwijderen van kwalitatief minderwaardige of dubbele websites de resultaten zou veranderen. Dat deed het niet. De connectie tussen webzichtbaarheid en de keuzes van de machine bleef sterk, zelfs na het opschonen van de data.

Uiteindelijk schetst de studie een helder beeld van hoe deze zoekende machines werken. Het zijn geen willekeurige tekstgeneratoren, noch zijn het simpele zoekmachines die alles weergeven wat ze vinden. Het zijn systemen die een reeks beperkte keuzes maken. Ze bezitten een enorme hoeveelheid informatie, maar wanneer ze een vraag aan het internet moeten stellen, moeten ze die kennis comprimeren tot een zeer korte lijst. De merken die de selectie halen, zijn niet alleen bekend, maar zijn ook zeer zichtbaar binnen de specifieke context van de vraag. Om door deze systemen gezien te worden, is het niet genoeg om simpelweg te bestaan; men moet prominent aanwezig zijn in de juiste gesprekken. Het eerste concept van de machine is een poortwachter, en de sleutel om door die poort te komen is niet alleen beroemd zijn, maar de meest relevante optie te zijn voor het specifieke onderwerp waar de vraag over gaat. Dit inzicht verandert de manier waarop we naar zichtbaarheid moeten kijken in het tijdperk van kunstmatige intelligentie, waarbij de focus verschuift van simpelweg aanwezig zijn op internet naar het duidelijk en specifiek geassocieerd worden met de vragen die mensen stellen.