Disentangling Answer Engine Optimization from Platform Growth: A Log-Based Natural Experiment on ChatGPT Referral Traffic

Resumen Técnico: Desentrañando la Optimización para Motores de Respuesta del Crecimiento de la Plataforma

Planteamiento del Problema
Los "motores de respuesta" de Modelos de Lenguaje Extensos (LLM) (por ejemplo, ChatGPT) han emergido como un canal de referencia distintivo, lo que ha impulsado la práctica de la Optimización para Motores de Respuesta (AEO, por sus siglas en inglés). Si bien los casos de estudio públicos suelen citar incrementos drásticos en el crecimiento bruto para los sitios que adoptan AEO, estas cifras están confundidas por el explosivo crecimiento a nivel de plataforma de los propios motores de respuesta. El desafío central es distinguir el efecto causal de las intervenciones de optimización del "impulso de la plataforma" (platform tailwind) que eleva el tráfico de todos los sitios de manera indiscriminada. La literatura existente suele depender de benchmarks sintéticos o estimadores de citas de terceros, fallando al no medir el tráfico de referencia real derivado en dominios vivos mientras se controla los factores de crecimiento externos.

Metodología
Los autores llevan a cabo un estudio de campo longitudinal en un único dominio de alto tráfico (glasp.co) utilizando un diseño de experimento natural.

• Diseño Experimental: El estudio utiliza un grupo de control dentro del mismo dominio. Un corpus específico de cientos de miles de páginas de preguntas y respuestas de YouTube (/youtube/) recibió un paquete definido de intervenciones de AEO en enero de 2026. El resto del dominio (artículos, perfiles, etc.) no recibió intervenciones y sirve como un control contemporáneo. Ambos grupos comparten la misma autoridad de dominio, configuración de analítica y exposición al impulso de la plataforma.
• Intervenciones (El Tratamiento): Aplicadas al corpus /youtube/, el paquete de tratamiento incluyó:
  1. Canonicalización de URL (consolidación de patrones duplicados).
  2. Minería de demanda a partir de registros 404 de bots para generar nuevas páginas.
  3. Reescritura de títulos en forma de pregunta y de resúmenes principales en respuestas independientes.
  4. Una regla de "Protección SEO" para bloquear la reescritura de páginas con tráfico orgánico existente.
• Fuentes de Datos: El estudio se basa en registros de servidor de primera mano y en la API de datos de Google Analytics 4 (GA4) para sesiones de referencia, y en Google Search Console para métricas de búsqueda orgánica. Los conteos absolutos se omiten por confidencialidad; todo el análisis utiliza múltiplos de crecimiento relativo e índices.
• Enfoque Estadístico: Los autores emplean un modelo de Series Temporales Interrumpidas (ITS) sobre la razón semanal de tráfico tratado/control ($R(t) = \text{tratado}(t)/\text{control}(t)$). Esta regresión segmentada aísla el efecto del tratamiento al netear el choque multiplicativo de la plataforma. Para abordar la correlación serial y el corto periodo previo, el estudio utiliza errores estándar HAC (Newey–West) y una prueba de permutación de "placebo en el tiempo" para evaluar la robustez de la ruptura observada.

Resultos Clave

1. Los Múltiplos Brutos son Engañosos: Las referencias totales de ChatGPT en el dominio crecieron $5.7\times$ de enero a mayo de 2026. Sin embargo, el grupo de control no tratado creció $3.5\times$ durante el mismo periodo, lo que indica que la mayor parte del crecimiento bruto es atribuible al impulso de la plataforma.
2. Estimación del Efecto Causal: El modelo ITS sobre la razón tratado/control estima un aumento de nivel discreto y alineado con la intervención de $1.82\times$ (IC 95% 1.31–2.54, HAC $p=0.001$). Este resultado es robusto en diversas especificaciones, incluyendo sesiones filtradas por engagement ($2.27\times$) y ventanas de periodo previo alternativas.
3. Cautela Estadística: Una prueba de permutación de placebo en el tiempo conservadora arroja un valor $p$ de 0.16. Los autores concluyen que, si bien el efecto de la regresión es significativo bajo errores HAC, el periodo previo corto y ruidoso significa que el efecto es sugestivo, no concluyente.
4. Seguridad SEO: Los clics orgánicos de Google hacia las páginas tratadas disminuyeron aproximadamente un 25%, reflejando una disminución similar del 20% en todo el sitio. No hubo evidencia de desindexación o de un colapso específico para el grupo tratado, lo que respalda la "regla de protección SEO" de que la reescritura dirigida no debe dañar el rendimiento de la búsqueda orgánica.
5. Pre-tendencia: Existía una pre-tendencia ascendente significativa ($+11\%$/mes) en la razón tratado/control antes de la intervención, la cual el modelo contabiliza explícitamente.

Significancia y Reivindicaciones
El documento argumenta que la contribución metodológica —separar el efecto del tratamiento del impulso de la plataforma mediante un control en el mismo dominio— es más valiosa que cualquier múltiplo de crecimiento individual.

• Afirmaciones Exageradas: Los autores postulan que los múltiplos de AEO destacados en el discurso público sobreestiman sustancialmente los efectos causales al confundir la optimización con el crecimiento de la plataforma.
• Métrica Defendible: La "unidad honesta" de un resultado de AEO es un estimado de efecto conservador y reportado en rangos (por ejemplo, $1.8\times$–$2.3\times$) ajustado por el crecimiento de la plataforma, en lugar de múltiplos brutos de antes/después.
• Seguridad: El estudio valida que las intervenciones de AEO pueden implementarse sin daño mensurable al rendimiento de la búsqueda orgánica existente, siempre que se utilice una estrategia de reescritura "protegida".
• Limitaciones: Los autores reconocen explícitamente que el estudio es observacional, no aleatorizado, y está limitado a un único dominio y motor (ChatGPT). Señalan que la hipótesis del "efecto volante" (que las citas de AEO impulsan la búsqueda orgánica) no fue respaldada en este periodo.

Conclusión
El estudio demuestra que, si bien la AEO puede generar un aumento mensurable en el tráfico de referencia (aproximadamente $1.8\times$–$2.3\times$ tras ajustar por el crecimiento de la plataforma), las cifras de crecimiento bruto citadas frecuentemente en la industria están dominadas por la rápida expansión de los propios motores de respuesta. El documento aboga por la adopción de controles en el mismo dominio y el análisis de logs de primera mano como un estándar para la medición reproducible y honesta de la AEO.