Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic

Technische Samenvatting: Het ontrafelen van Answer Engine Optimization versus Platformgroei

Probleemstelling
Large Language Model (LLM) "antwoordmotoren" (bijv. ChatGPT) zijn opgekomen als een onderscheidend referralkanaal, wat de praktijk van Answer Engine Optimization (AEO) heeft aangewakkerd. Hoewel publieke casestudies vaak spectaculaire bruto groeimultipliators noemen voor sites die AEO toepassen, worden deze cijfers vertroebeld door de explosieve, platformbrede groei van de antwoordmotoren zelf. De centrale uitdaging is het onderscheiden van het causale effect van optimalisatie-interventies van de "platform-tegendruk" (platform tailwind) die de verkeersstromen voor alle sites onafhankelijk van elkaar verhoogt. Bestaande literatuur vertrouwt vaak op synthetische benchmarks of externe schattingen van citaties, waarbij het nadeel is dat zij geen werkelijke downstream referral-verkeer op live domeinen kunnen meten terwijl ze externe groeifactoren controleren.

Methodologie
De auteurs voeren een longitudinale veldstudie uit op een enkel hoog-trafiek domein (glasp.co) met behulp van een natural experiment design.

• Experimenteel Ontwerp: De studie maakt gebruik van een on-domain controlegroep. Een specifieke corpus van honderdduizenden YouTube vraag-en-antwoordpagina's (/youtube/) ontving in januari 2026 een gedefinieerde bundel van AEO-interventies. De rest van het domein (artikelen, profielen, etc.) ontving geen interventies en dient als een gelijktijdige controlegroep. Beide groepen delen dezelfde domeinautoriteit, analytics-configuratie en blootstelling aan de platform-tegendruk.
• Interventies (De Behandeling): Toegepast op de /youtube/ corpus, bevatte de interventiebundel:
  1. URL-canonicalisering (het consolideren van duplicerende patronen).
  2. Demand mining vanuit bot 404-logs om nieuwe pagina's te genereren.
  3. Het herschrijven van titels naar vraagvormen en lead-samenvattingen naar zelfstandige antwoorden.
  4. Een "SEO Guard"-regel om pagina's met bestaand organisch verkeer te beschermen tegen herschrijven.
• Databronnen: De studie steunt op first-party serverlogs en de Google Analytics 4 (GA4) Data API voor referral-sessies, en Google Search Console voor organische zoekmetrieken. Absolute aantallen worden achtergehouden vanwege vertrouwelijkheid; alle analyses maken gebruik van relatieve groeimultipliators en indices.
• Statistische Benadering: De auteurs hanteren een Interrupted Time Series (ITS) model op de wekelijkse ratio van behandeld-versus-controle verkeer ($R(t) = \text{behandeld}(t)/\text{controle}(t)$). Deze gesegmenteerde regressie isoleert het behandelingseffect door de multiplicatieve platformschok weg te strepen. Om seriële correlatie en de korte pre-periode aan te pakken, gebruikt de studie HAC (Newey–West) standaardfouten en een "placebo-in-time" permutatietest om de robuustheid van de geobserveerde breuk te beoordelen.

Belangrijkste Resultaten

1. Bruto Multipliers zijn Misleidend: Totaal aantal ChatGPT-referrals op het domein groeide $5,7\times$ van januari tot mei 2026. Echter, de onbehandelde controlegroep groeide met $3,5\times$ over dezelfde periode, wat aangeeft dat het merendeel van de bruto groei toe te schrijven is aan de platform-tegendruk.
2. Schatting van het Causale Effect: Het ITS-model op de behandeld/controle ratio schat een discrete, interventie-gealigneerde niveaustijging van $1,82\times$ (95% CI 1,31–2,54, HAC $p=0,001$). Dit resultaat is robuust over verschillende specificaties, inclusclusief engagement-gefilterde sessies ($2,27\times$) en alternatieve pre-periodes.
3. Statistische Voorzichtigheid: Een conservatieve placebo-in-time permutatietest levert een $p$-waarde op van 0,16. De auteurs concluderen dat hoewel de regressie-effect significant is onder HAC-fouten, de korte en ruisige pre-periode betekent dat het effect suggestief is, niet conclusief.
4. SEO-Veiligheid: Google organische clicks naar behandelde pagina's daalden met ongeveer 25%, wat een vergelijkbare site-brede daling van 20% weerspiegelt. Er was geen bewijs van de-indexering of een instorting specifiek voor de behandelde groep, wat de "SEO-beschermingsregel" ondersteunt dat gericht herschrijven de organische zoekprestaties niet schaadt.
5. Pre-Trend: Er bestond een significante opwaartse pre-trend ($+11\%$/maand) in de behandeld/controle ratio vóór de interventie, die het model expliciet meeneemt.

Significantie en Claims
Het paper betoogt dat de methodologische bijdrage—het scheiden van behandelingseffecten van platform-tegendruk via een on-domain controle—waardevoller is dan enige enkele groeimultiplator.

• Overdreven Claims: De auteurs stellen dat de in de publieke discussie genoemde AEO-multipliers de causale effecten substantieel overschatten door optimalisatie te verwarren met platformgroei.
• Verdedigbare Metriek: De "eerlijke eenheid" van een AEO-resultaat is een conservatieve, in een bereik gerapporteerde effectschatting (bijv. $1,8\times$–$2,3\times$) die gecorrigeerd is voor platformgroei, in plaats van bruto voor-en-na multiples.
• Veiligheid: De studie valideert dat AEO-interventies kunnen worden geïmplementeerd zonder meetbare schade aan bestaande organische zoekprestaties, mits een "beveiligde" (guarded) herschrijfstrategie wordt gebruikt.
• Beperkingen: De auteurs erkennen expliciet dat de studie observationeel is, niet gerandomiseerd, en beperkt is tot één enkel domein en één engine (ChatGPT). Zij merken op dat de "flywheel"-hypothese (dat AEO-citaties organische zoekopdrachten stimuleren) in deze periode niet werd ondersteund.

Conclusie
De studie demonstreert dat hoewel AEO een meetbare stijging in referral-verkeer kan opleveren (ongeveer $1,8\times$–$2,3\times$ na correctie voor platformgroei), de bruto groeicijfers die vaak in de sector worden aangehaald, gedomineerd worden door de snelle expansie van de antwoordmotoren zelf. Het paper pleit voor de adoptie van on-domain controles en first-party log-analyse als een standaard voor reproduceerbare en eerlijke AEO-meting.