💻 computer science

Divergent Recommendations, Convergent Diagnoses: Cross-Provider Failure-Mode Convergence in AI Commercial Recommendation

Hoewel er een aanzienlijke divergentie bestaat in specifieke productaanbevelingen tussen ChatGPT en Claude, onthult het onderzoek dat deze AI-aanbieders een bijna perfecte overeenstemming (95,1%) vertonen in het diagnosticeren van de onderliggende redenen voor gezamenlijke aanbevelingsfouten, wat suggereert dat hoewel optimalisatiestrategieën aanbiederspecifiek moeten zijn voor topmerken, een verenigde aanpak voor het aanpakken van de grondoorzaken zeer effectief is voor long-tail merken.

Oorspronkelijke auteurs: Will Jack, Noah Lehman, Keller Maloney, Sarah Xu

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Will Jack, Noah Lehman, Keller Maloney, Sarah Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Komen AI-assistenten overeen?

Stel je voor dat je een beroemd merk bent (zoals Nike of een lokale bakkerij). Je wilt dat jouw producten worden aanbevolen wanneer mensen AI-assistenten zoals ChatGPT (OpenAI) of Claude (Anthropic) om advies vragen.

De grote vraag die de auteurs stelden is: Als ik mijn marketing optimaliseer voor ChatGPT, werkt dat dan automatisch ook voor Claude? Of heb ik twee totaal verschillende strategieën nodig?

Om dit te achterhalen, voerden ze een grootschalig experiment uit. Ze stelden beide AI's dezelfde 215 vragen over producten en observeerden welke producten zij aanbevolen.

De Eerste Bevinding: Ze Kiezen Andere Winnaars

De Analogie: Stel je twee verschillende voedselcritici voor (Chef A en Chef B) die een menu van 500 gerechten beoordelen.

Het Resultaat: Wanneer ze gevraagd wordt om hun top 10 gerechten te kiezen, kwamen Chef A en Chef B slechts over ongeveer 3 of 4 gerechten overeen. De andere 6 of 7 gerechten waren totaal anders.
De Data uit het Paper: De twee AI's kwamen alleen overeen over welke merken ze aanbevolen in ongeveer 35% van de gevallen. Als je dezelfde vraag twee keer stelt aan dezelfde AI, stemt deze ongeveer 50–60% van de tijd met zichzelf overeen. Maar als je overschakelt naar een andere AI, veranderen de aanbevelingen aanzienlijk.

De Les: Als je een groot merk bent, kun je er niet vanuit gaan dat wat werkt voor de ene AI, ook werkt voor de andere. Ze hebben verschillende "smaken".

De Tweede Bevinding: Ze Komen Overeen Over Waarom Ze Falen

Hier wordt het interessant. De onderzoekers keken niet alleen naar wat de AI's wel aanbevolen; ze keken naar wat ze niet aanbevolen.

Ze classificeerden "ontbrekende" merken in drie soorten fouten:

De "Niet Gehoord Van" (Ontdekbaarheid): De AI vond het merk niet terug in de zoekresultaten. Het is als een bibliothecaris die niet eens weet dat het boek bestaat.
De "Gezien, Maar Niet Leuk Genoeg" (Overtuigingskracht): De AI vond het merk wel, maar noemde het niet in het uiteindelijke antwoord.
De "Genoemd, Maar Niet Gekozen" (Positionering): De AI noemde het merk wel, maar adviseerde het niet als een topkeuze.

De Analogie: Stel je voor dat de twee critici gevraagd wordt om een restaurant aan te bevelen.

Als ze verschillende plekken aanbevelen, hebben ze een discussie over smaak.
Maar als ze beiden falen om een specifiek lokaal tentje aan te bevelen, waarom faalden ze dan?

Het Resultaat: Wanneer beide AI's erin faalden om een merk aan te bevelen, faalden ze bijna altijd om dezelfde reden (95% van de tijd).

Als ze beiden een merk misten, was dat meestal omdat geen van beiden het kon vinden (Ontdekbaarheid).
Ze waren het niet oneens over waarom ze het misten; ze misten het simpelweg allebei om dezelfde reden.

Het "Long Tail"-effect:
Deze overeenstemming wordt nog sterker voor kleinere, minder bekende merken (de "long tail").

Beroemde Merken (Top Tier): De AI's waren vaker oneens over waarom ze een merk misten (misschien zag de één het wel maar vond de ander het niet leuk, terwijl de ander het helemaal niet zag).
Obscure Merken (Long Tail): De AI's stemden voor 99,6% overeen dat ze het merk simpelweg niet konden vinden.

Hoe Ze Denken: Verschillende Wegen naar Dezelfde Plek

Het paper keek ook naar hoe de AI's hun keuzes maakten.

OpenAI (ChatGPT): Is als een onderzoeker. Het gaat bijna altijd eerst het internet op om te zoeken, leest de resultaten en doet dan pas een aanbeveling. Het vertrouwt zwaar op wat het in de zoekopdracht vindt.
Anthropic (Claude): Is als een deskundige professor. Het vertrouwt vaak op wat het al weet uit de trainingsdata (het "geheugen"). Het beveelt merken aan zonder eerst het internet op te hoeven gaan in 43–52% van de gevallen.

De Analogie:

ChatGPT is als een student die een tekstboek opent voordat hij een vraag beantwoordt.
Claude is als een student die vanuit zijn geheugen antwoordt en pas het tekstboek opent als hij ergens niet zeker van is.

Hoewel ze verschillende methoden gebruiken (zoeken versus geheugen), missen ze uiteindelijk dezelfde obscure merken omdat die merken noch in de tekstboeken staan, noch op de webpagina's staan die ze doorzoeken.

Praktisch Advies voor Merken

Op basis van deze bevindingen stelt het paper een specifieke strategie voor:

Voor Kleine, Obscure Merken (de Long Tail):
- Het Probleem: De AI's kunnen je niet vinden.
- De Oplossing: Je hebt slechts één strategie nodig. Als je je merk makkelijker vindbaar maakt op het web (betere SEO, meer artikelen), zullen beide AI's je gaan aanbevelen. Je hoeft je boodschap niet aan te passen voor ChatGPT versus Claude; los gewoon het probleem van de "ontdekbaarheid" op, en dat lost het voor beide op.
Voor Grote, Beroemde Merken (de Top Tier):
- Het Probleem: De AI's kunnen je wel vinden, maar ze bevelen je misschien om verschillende redenen aan (misschien vindt de een je content saai, terwijl de ander vindt dat je positionering zwak is).
- De Oplossing: Je hebt twee verschillende strategieën nodig. Wat werkt om ChatGPT te laten aanbevelen, werkt misschien niet om Claude te laten aanbevelen. Je moet ze behandelen als verschillende doelgroepen.

Samenvatting

Aanbevelingen: De AI's kiezen andere winnaars (ze zijn het oneens).
Fouten: Wanneer ze beide een merk missen, doen ze dat meestal om dezelfde reden (ze zijn het eens).
De Oplossing: Als je een klein merk bent, verbeter je de "zichtbaarheid" één keer, en dat helpt overal. Als je een groot merk bent, moet je je boodschap misschien voor elke specifieke AI bijsturen.

Technische Samenvatting: Divergente Aanbevelingen, Convergente Diagnoses

Probleemstelling

Naarmate de doelgroepen van merken versnipperen over meerdere AI-aanbieders (bijv. ChatGPT, Claude, Gemini), worden marketingteams geconfronteerd met een strategische onzekerheid: moeten zij een enkel optimalisatie-playbook inzetten voor alle aanbieders, of moeten zij voor elke aanbieder afzonderlijke strategieën op maat maken? De industriële premisse, gedreven door per-aanbieder dashboards, gaat ervan uit dat de sets aanbevelingen aanzienlijk verschillen tussen aanbieders, wat impliceert dat interventies (content, autoriteit, positionering) aanbiederspecifiek zijn. De theoretische hypothese van de "algoritmische monocultuur" suggereert echter dat aanbieders die dezelfde trainingsdata en architecturale afkomst delen, gecorreleerde uitsluitingen (fouten in het ophalen van informatie) vertonen, zelfs als hun specifieke inclusies (aanbevelingen) divergeren. Dit artikel test empirisch of de sets aan aanbevelingen divergeren terwijl de diagnose van gezamenlijke fouten convergeert, en of deze convergentie standhoudt over verschillende niveaus van merkprominentie.

Methodologie

De studie maakt gebruik van een cross-provider auditontwerp waarbij OpenAI (gpt-5.4, gpt-5.4-mini) en Anthropic (claude-sonnet-4-6, claude-opus-4-6) modellen worden vergeleken.

Data & Prompts: De analyse beslaat 215 commercieel geformuleerde prompts over vier onafhankelijke meetbatches, geëvalueerd tegen een schaduwcorpus van 533 referentiemerken, gestratificeerd over vijf prominentieniveaus (L1: Categorieleiders tot L5: Regionale spelers).
Consensusextractie: Merknamen in de retrieval-lagen (zoekopdrachten, snippets, domeinen) en de completion-tekst werden geëxtraheerd met behulp van een cross-judge consensusprotocol (twee LLM-judges) om robuustheid te garanderen tegen instabiliteit van een enkele judge.
Classificatie in Funnel-stadia: Voor elke (prompt × merk × aanbieder) cel werden merken geclassificeerd in vier stadia:
- S1 (Ontdekbaarheid): Merk afwezig in alle retrieval-lagen en de completion.
- S2 (Overtuigingskracht): Merk aanwezig in de retrieval, maar afwezig in de completion.
- S3 (Positionering): Merk aanwezig in de completion, maar niet aanbevolen.
- S4 (Succes): Merk consensus-aanbevolen.
Gezamenlijke Foutrestrictie: De kernanalyse richt zich op 7.763 "gezamenlijke-fout"-cellen waar geen van beide aanbieders het merk aanbeval (d.w.z. beide faalden bij S1, S2 of S3).
Mechanistische Signalen:
- Pure-Priors Share: Het aandeel aanbevelingen gemaakt zonder observeerbaar bewijs in de retrieval-laag (wat wijst op een beroep op parametrische geheugen).
- Batch-Reconstructie (alleen OpenAI): Het traceren of merk-disambiguerende zoekopdrachten verschenen in de eerste zoekbatch om retrieval-verankering te meten.
Statistische Analyse: Overeenkomstmetrieken (Jaccard-gelijkenis, ruwe overeenkomst, Cohen's $\kappa$ ) werden berekend met prompt-geclusterde bootstrap 95% betrouwbaarheidsintervallen (1.000 iteraties) om rekening te houden met de niet-onafhankelijkheid van (prompt × merk) observaties.

Belangrijkste Bijdragen

Gekwantificeerde Cross-Provider Aanbevelingsdivergentie: De studie stelt vast dat de cross-provider aanbevelingssets significant minder gelijkaardig zijn dan de binnen-provider herhaalde stabiliteit. De cross-provider Jaccard-gelijkenis is 0,35 (95% CI: [0,323, 0,391]), wat ruim onder de binnen-cel herhaalde baseline van 0,50–0,61 ligt.
Mechanistische Asymmetrie in Aanbevelingsroutes: De aanbieders bereiken hun keuzes via meetbaar verschillende generatieve routes.
- Anthropic: Flagship-modellen bevelen merken aan op basis van parametrische priors (zonder retrieval-bewijs) in 43–52% van de gevallen.
- OpenAI: Modellen leunen zwaar op retrieval, met pure-prior aanbevelingen variërend van 8–29%. Batch-reconstructie bevestigt dat OpenAI in 60–71% van de gevallen merk-disambiguerende queries uitgeeft in de eerste zoekbatch.
Foutmodus-convergentie met een Prominentie-gradiënt: Hoewel de keuzes divergeren, convergeert de diagnose van waarom een merk niet werd aanbevolen overweldigend, maar deze convergentie is strikt gestratificeerd door merkprominentie.
- Algehele Overeenkomst: Bij gezamenlijke fouten diagnosticeren beide aanbieders in 95,1% van de gevallen hetzelfde foutstadium (95% CI: [94,3%, 95,7%]).
- Monotone Gradiënt: De overeenkomst stijgt naarmate de merkprominentie afneemt:
  - L1 (Categorieleiders): 81,2% overeenkomst.
  - L5 (Regionale Spelers): 99,6% overeenkomst.
- Driver: De convergentie wordt gedreven door S1 (Ontdekbaarheid) fouten. Voor long-tail merken (L4–L5) falen beide aanbieders op dezelfde manier bij de ontdekking van het merk. Voor leiders (L1) blijft er onenigheid bestaan in de post-retrieval stadia (S2/S3).

Resultaten

Divergente Keuzes, Convergente Diagnoses: De aanbieders selecteren verschillende merken (lage Jaccard), maar zijn het eens over waarom ze een merk niet aanbevelen wanneer ze beiden falen.
De Rol van Prominentie: De 95,1% gepoolde overeenkomst is sterk beïnvloed door de dominantie van S1-fouten in de long tail. Wanneer de analyse wordt beperkt tot gevallen waarin ten minste één aanbieder faalt bij S2 of S3 (post-retrieval), daalt de diagonale overeenkomst naar 14,9%. Dit geeft aan dat hoewel aanbieders het eens zijn over "ontbrekende" merken (S1), ze het niet eens zijn over waarom een geretrieved merk niet wordt aanbevolen (S2 vs. S3) voor entiteiten met een hoge prominentie.
Cross-Cel Portabiliteit: Een extensie van 3.000 runs die binnen-provider variaties testte (bijv. gpt-5.4-mini vs. gpt-5.4, sonnet vs. opus), vond dat de overeenkomst binnen hetzelfde stadium hoog blijft (94,9%–98,3%). Dit suggereert dat de diagnostische convergentie een eigenschap is van de populatie met gezamenlijke fouten, en geen specifiek artefact van de cross-provider vergelijking.
Mechanistisch Bewijs: Het "pure-priors" signaal bevestigt dat Anthropic meer vertrouwt op interne kennis voor aanbevelingen, terwijl OpenAI meer retrieval-verankerd is. Ondanks deze verschillende routes is de uitsluiting van long-tail merken gecorreleerd, wat de hypothese van de algoritmische monocultuur ondersteunt voor fouten, maar niet voor successen.

Betekenis en Claims

Het artikel beweert het eerste concrete commerciële bewijs te leveren voor de "algoritmische monocultuur" hypothese, specifica door aan te tonen dat er sprake is van gecorreleerde uitsluitingen (convergente fouten) naast ongecorreleerde inclusies (divergente keuzes).

De primaire praktische implicatie is de afbakening van marketing-naar-AI interventies:

Voor Long-Tail Merken (L4–L5): Een enkele, aanbieder-agnostische interventie gericht op S1 (ontdekbaarheid) — zoals het voeden van autoriteitslijsten of het creëren van canonieke content — zal naar verwachting de zichtbaarheid bij beide aanbieders simultaan verhogen. De diagnose van "waarom" het merk ontbreekt, is voor beide nagenoeg identiek.
Voor Categorieleiders (L1–L2): Aanbiederspecifieke strategieën blijven noodzakelijk. Omdat aanbieders divergeren in post-retrieval foutmodi (S2/S3) voor merken met een hoge prominentie, moeten interventies met betrekking tot positionering en content-optimalisatie worden afgestemd op de specifieke retrieval- en generatielogica van de betreffende aanbieder.

De auteurs concluderen dat de "één keer diagnosticeren, één keer adviseren" strategie een sterke claim is voor long-tail ontdekbaarheid, maar een zwakkere, prominentie-afhankelijke claim voor post-retrieval foutattributie. De studie verfijnt, in plaats van verwerpt, de algoritmische monocultuur-hypothese door te laten zien dat een gedeelde substantie leidt tot gedeelde fouten, terwijl divergente post-training leidt tot divergente succesroutes.