💬 NLP

Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic

Diese Arbeit nutzt ein log-basiertes natürliches Experiment auf einer einzelnen Domäne mit einer On-site-Kontrollgruppe, um zu demonstrieren, dass während das rohe ChatGPT-Referral-Wachstum weitgehend durch die Plattformexpansion getrieben wird, gezielte Answer Engine Optimization (AEO)-Interventionen einen statistisch suggestiven, aber nicht schlüssigen kausalen Lift von etwa dem 1,82-fachen erzielen, was die Notwendigkeit unterstreicht, die Plattform-Rückenwinde von echten Optimierungseffekten zu entwirren.

Ursprüngliche Autoren: Keisuke Watanabe, Kazuki Nakayashiki

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Keisuke Watanabe, Kazuki Nakayashiki

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor. Jahrelang fanden die Menschen Orte in dieser Stadt mithilfe einer riesigen, traditionellen Karte (Google Search). Doch vor kurzem ist ein neuer, magischer Reiseführer aufgetaucht: ChatGPT. Anstatt Ihnen nur eine Liste von Adressen zu geben, beantwortet dieser Reiseführer Ihre Fragen direkt und weist Ihnen spezifische Läden (Websites) den Weg, die Sie besuchen sollten.

Dieses Papier ist eine wissenschaftliche Untersuchung zu einer Frage, die viele Geschäftsinhaber beschäftigt: „Wenn wir unseren Laden so umgestalten, dass er für diesen neuen Reiseführer besser aussieht, werden wir dann mehr Kunden gewinnen? Und wie viele dieser Kunden sind tatsächlich auf unsere Änderungen zurückzuführen, im Gegensatz dazu, dass der Reiseführer selbst einfach nur immer beliebter wird?“

Hier ist die Geschichte dessen, was die Forscher herausgefunden haben, vereinfacht aufgeschlüsselt.

Das Problem: Die Verwirrung durch den „aufsteigenden Gezeitenstrom“

Stellen Sie sich vor, die ganze Stadt erlebt einen massiven Bevölkerungsboom. Jeder einzelne Laden bekommt einfach deshalb mehr Kunden, weil es mehr Menschen in der Stadt gibt.

Die Falle: Wenn ein Ladenbesitzer sagt: „Wir haben diesen Monat 5-mal mehr Kunden! Unser neues Schild muss funktioniert haben!“, könnte er falsch liegen. Vielleicht hat das Schild geholfen, aber vielleicht hatte er auch einfach nur Glück, weil die ganze Stadt gewachsen ist.
Das Ziel der Studie: Die Forscher wollten den „Schild-Effekt“ (ihre Optimierung) vom „Stadtwachstums-Effekt“ (die Popularität der Plattform) trennen.

Das Experiment: Die „Zwillingsstadt“-Strategie

Die Forscher untersuchten eine spezifische Website namens Glasp (denken Sie an eine riesige Bibliothek mit Zusammenfassungen von YouTube-Videos).

Die Testgruppe: Sie nahmen einen spezifischen Abschnitt der Bibliothek (die YouTube-Zusammenfassungen) und gaben ihnen im Januar 2026 ein „Makeover“. Sie schrieben Titel so um, dass sie wie Fragen aussehen, korrigierten doppelte Seiten und machten die Zusammenfassungen klarer für den KI-Reiseführer.
Die Kontrollgruppe (Der Zwilling): Sie ließen den Rest der Bibliothek unverändert. An den anderen Seiten wurden keine Änderungen vorgenommen.
Warum das funktioniert: Da beide Gruppen im selben Gebäude sind (dieselbe Website), spüren beide denselben „Stadtboom“. Wenn die behandelte Gruppe schneller wächst als die unberührte Gruppe, ist dieses zusätzliche Wachstum wahrscheinlich auf das Makeover zurückzuführen und nicht nur darauf, dass die Stadt größer wird.

Das Makeover (Was sie tatsächlich getan haben)

Die Forscher wandten ein Paket aus vier Änderungen auf die YouTube-Seiten an:

Aufräumen der Adressen: Sicherstellen, dass jedes Video nur eine eindeutige Webadresse hat (keine Duplikate).
Auf die Roboter hören: Als KI-Bots versuchten, Seiten zu besuchen, die nicht existierten, erstellten die Forscher neue Seiten, die genau das abbildeten, wonach diese Bots suchten.
Die Schlagzeilen umschreiben: Titel so ändern, dass sie wie Fragen aussehen, und kurze, klare Antworten am Anfang hinzufügen.
Das „Sicherheitsnetz“: Sie versprachen, keine Seiten zu ändern, die auf Google bereits gut funktionierten, um nicht versehentlich ihren bestehenden Traffic zu schädigen.

Die Ergebnisse: Was tatsächlich passierte

1. Die Rohzahlen sind irreführend
Wenn man sich nur die behandelten Seiten ansah, wuchsen sie um das 6,1-fache. Das klingt fantastisch! Aber die unberührten Seiten wuchsen auch um das 3,5-fache, einfach weil der KI-Reiseführer (ChatGPT) mehr Nutzer gewann.

Analogie: Wenn Sie einen Limonadenstand betreiben und der Umsatz um das 6-fache steigt, aber der Stand Ihres Nachbarn (der nichts geändert hat) aufgrund einer Hitzewelle in der gesamten Nachbarschaft ebenfalls um das 3,5-fache gestiegen ist, können Sie nicht behaupten, dass der gesamte Zuwachs Ihr Verdienst ist.

2. Der echte „Makeover“-Effekt
Nachdem sie die Mathematik angewandt hatten, um das „Wachstum des Nachbarn“ vom „Gesamtwachstum“ abzuziehen, fanden die Forscher, dass der tatsächliche Effekt ihrer Änderungen eine Steigerung um das 1,8- bis 2,3-fache war.

Die Einschränkung: Während dies eine solide Verbesserung ist, war der statistische Test etwas unsicher, da die „Vorher“-Daten kurz und verrauscht waren. Die Forscher bezeichnen dieses Ergebnis als „suggestiv“ (hinweisend) statt als 100 % bewiesen. Es ist ein starkes Indiz, aber kein absolut sicheres Garantieversprechen.

3. Das Sicherheitsnetz funktionierte
Eine große Angst war, dass die Änderung der Seiten für den KI-Reiseführer die Leistung auf der traditionellen Karte (Google Search) ruinieren könnte.

Das Ergebnis: Der traditionelle Traffic sank leicht, aber nur, weil der Traffic aller Seiten in diesem Jahr leicht gesunken ist. Die Änderungen der Forscher haben keinen speziellen Absturz verursacht. Sie haben erfolgreich für den neuen Reiseführer optimiert, ohne die alte Karte zu beschädigen.

Die wichtigste Erkennthezit

Das Papier lehrt uns eine wertvolle Lektion über Marketing und Daten: Lassen Sie sich nicht vom „Plattform-Rückenwind“ täuschen!

Wenn eine neue Technologie (wie KI-Antworten-Engines) an Popularität gewinnt, erfährt jeder einen Aufschwung. Wenn Sie sehen, dass ein Unternehmen behauptet: „Wir sind durch unsere KI-Strategie um das 10-fache gewachsen“, könnten sie einfach nur auf der Welle der Popularität der Plattform selbst reiten.

Um zu wissen, ob Ihre Strategie tatsächlich funktioniert, müssen Sie Ihre Ergebnisse mit einer „Kontrollgruppe“ vergleichen, die nichts geändert hat, aber dennoch auf derselben Welle ritt. In diesem Fall war die wahre Magie der Strategie ein solider ~2-facher Boost, nicht die Schlagzeile von 6-fachem Wachstum.

Kurz gesagt: Die neuen KI-Reiseführer sind großartig, und die Optimierung für sie hilft, aber man muss vorsichtig sein, nicht die bloße Größe der Menge, die zur Tür hereinkommt, als das eigene harte Handwerk zu verbuchen.

Technisches Resümee: Entkopplung von Answer Engine Optimization und Plattformwachstum

Problemstellung
LLM-basierte „Answer Engines“ (z. B. ChatGPT) haben sich als ein eigenständiger Referral-Kanal etabliert, was die Praxis der Answer Engine Optimization (AEO) vorangetrieben hat. Während öffentliche Fallstudien oft dramatische Wachstumsraten im Rohwert anführen, die durch die Anwendung von AEO erzielt wurden, sind diese Zahlen durch das explosive, plattformweite Wachstum der Answer Engines selbst konfundiert. Die zentrale Herausforderung besteht darin, den kausalen Effekt von Optimierungsinterventionen von dem „Plattform-Rückenwind“ zu unterscheiden, der den Traffic für alle Seiten gleichermaßen anhebt. Die bestehende Literatur stützt sich oft auf synthetische Benchmarks oder Schätzungen durch Drittanbieter zur Zitationshäufigkeit, versäumt es jedoch, den realisierten nachgelagerten Referral-Traffic auf Live-Domains unter Kontrolle externer Wachstumsfaktoren zu messen.

Methodik
Die Autoren führen eine longitudinale Feldstudie an einer einzelnen hochfrequentierten Domain (glasp.co) unter Verwendung eines Natural-Experiment-Designs durch.

Experimentelles Design: Die Studie nutzt eine On-Domain-Kontrollgruppe. Ein spezifischer Korpus aus Hunderttausenden von YouTube-Frage-Antwort-Seiten (/youtube/) erhielt im Januar 2026 ein definiertes Paket an AEO-Interventionen. Der Rest der Domain (Artikel, Profile etc.) erhielt keine Interventionen und dient somit als zeitgleiche Kontrollgruppe. Beide Gruppen teilen dieselbe Domain-Autorität, Konfiguration der Analytik und Exposition gegenüber dem Plattform-Rückenwind.
Interventionen (Die Behandlung): Auf den /youtube/-Korpus angewandt, umfasste das Interventionspaket:
1. URL-Kanonisierung (Konsolidierung doppelter Muster).
2. Demand-Mining aus Bot-404-Logs zur Generierung neuer Seiten.
3. Umschreiben von Titeln in Frageformen und Lead-Zusammenfassungen in eigenständige Antworten.
4. Eine „SEO-Guard“-Regel, um Seiten mit bestehendem organischem Traffic vor dem Umschreiben zu schützen.
Datenquellen: Die Studie stützt sich auf First-Party-Server-Logs und die Google Analytics 4 (GA4) Data API für Referral-Sessions sowie auf Google Search Console für organische Suchmetriken. Absolute Zahlen werden aus Gründen der Vertraulichkeit nicht offengelegt; alle Analysen verwenden relative Wachstumsfaktoren und Indizes.
Statistischer Ansatz: Die Autoren verwenden ein Interrupted Time Series (ITS)-Modell auf dem wöchentlichen Verhältnis des behandelten zu dem Kontroll-Traffics ( $R(t) = \text{treated}(t)/\text{control}(t)$ ). Diese segmentierte Regression isoliert den Behandlungseffekt, indem sie den multiplikativen Plattform-Schock herausrechnet. Um die serielle Korrelation und den kurzen Vorbeobachtungszeitraum zu adressieren, verwendet die Studie HAC-Standardfehler (Newey–West) und einen „Placebo-in-Time“-Permutationstest, um die Robustheit des beobachteten Bruchs zu bewerten.

Hauptergebnisse

Roh-Multiplikatoren sind irreführend: Die ChatGPT-Referrals auf der Domain wuchsen von Januar bis Mai 2026 um das $5,7$-Fache. Die unbehandelte Kontrollgruppe wuchs jedoch im selben Zeitraum um das $3,5$-Fache, was zeigt, dass der Großteil des Rohwachstums auf den Plattform-Rückenwind zurückzuführen ist.
Schätzung des kausalen Effekts: Das ITS-Modell auf dem behandelten/Kontroll-Verhältnis schätzt eine diskrete, interventionsbedingte Steigerung des Niveaus um das $1,82\times$ (95 % KI 1,31–2,54, HAC $p=0,001$ ). Dieses Ergebnis ist robust über verschiedene Spezifikationen hinweg, einschließlich Engagement-gefilterter Sessions ( $2,27\times$ ) und alternativer Vorbeobachtungszeiträume.
Statistische Vorsicht: Ein konservativer Placebo-in-Time-Permutationstest liefert einen $p$ -Wert von 0,16. Die Autoren kommen zu dem Schluss, dass das Regressionsergebnis unter HAC-Fehlern zwar signifikant ist, der kurze und verrauschte Vorbeobachtungszeitraum jedoch bedeutet, dass der Effekt eher suggestiv als konklusiv ist.
SEO-Sicherheit: Die organischen Google-Klicks auf die behandelten Seiten gingen um etwa 25 % zurück, was einem ähnlichen seitenweiten Rückgang von 20 % entspricht. Es gab keine Anzeichen für eine De-Indizierung oder einen spezifischen Einbruch der organischen Suche, was die „SEO-Schutzregel“ bestätigt, wonach gezieltes Umschreiben die organische Performance nicht beeinträchtigen muss.
Pre-Trend: Ein signifikanter Aufwärtstrend vor der Intervention ( $+11\,\%$ pro Monat) bestand im Verhältnis von behandelten zu Kontroll-Seiten, den das Modell explizit berücksichtigt.

Bedeutung und Behauptungen
Das Paper argumentiert, dass der methodische Beitrag – die Trennung von Behandlungseffekt und Plattform-Rückenwind mittels einer On-Domain-Kontrolle – wertvoller ist als jeder einzelne Wachstumsfaktor.

Übersteigerte Behauptungen: Die Autoren postulieren, dass die in der öffentlichen Diskussion kursierenden Schlagzeilen-Multiplikatoren für AEO den kausalen Effekt unterschätzen, indem sie Optimierung mit Plattformwachstum vermengen.
Verteidigbare Metrik: Die „ehrliche Einheit“ eines AEO-Ergebnisses ist eine konservative, in einem Bereich angegebene Schätzung des Effekts (z. B. $1,8\times$ – $2,3\times$ ), die um das Plattformwachstum bereinigt wurde, statt einfacher Vorher-Nachher-Multiplikatoren.
Sicherheit: Die Studie validiert, dass AEO-Interventionen implementiert werden können, ohne die bestehende organische Suchleistung messbar zu schädigen, sofern eine „geschützte“ Rewrite-Strategie angewandt wird.
Einschränkungen: Die Autoren räumen ein, dass es sich bei der Studie um eine Beobachtungsstudie handelt, die nicht randomisiert ist und auf eine einzige Domain und eine einzige Engine (ChatGPT) beschränkt ist. Sie stellen fest, dass die „Flywheel“-Hypothese (dass AEO-Zitationen die organische Suche stärken) in diesem Zeitfenster nicht unterstützt wurde.

Fazit
Die Studie zeigt, dass AEO zwar einen messbaren Anstieg des Referral-Traffics bewirken kann (etwa das $1,8\times$ – $2,3\times$ nach Bereinigung um das Plattformwachstum), die in der Branche oft zitierten Rohwachstumszahlen jedoch primlich durch die schnelle Expansion der Answer Engines selbst dominiert werden. Das Paper plädiert für die Einführung von On-Domain-Kontrollen und First-Party-Log-Analysen als Standard für eine reproduzierbare und ehrliche AEO-Messung.