Resumen Técnico: De lo Estocástico a lo Estable

Declaración del Problema

La medición de la visibilidad de la IA en los motores de búsqueda generativos es, fundamentalmente, un ejercicio comparativo destinado a determinar qué dominios son citados con mayor frecuencia y si las diferencias observadas son estadísticamente significativas como para informar una estrategia competitiva. Sin embargo, la industria carece de un método fundamentado para determinar cuándo se ha recolectado suficiente información para respaldar estas comparaciones. Las prácticas actuales dependen de presupuestos de recolección fijos o umbrales de correlación arbitrarios, los cuales no tienen en cuenta la naturaleza estocástica de la búsqueda generativa.

Los motores de búsqueda generativos producen resultados variables para una misma consulta, lo que convierte a la cuota de citación en un estadístico muestral sujeto a la variabilidad del muestreo, en lugar de ser una cantidad fija. Esta variabilidad crea dos desafíos distintos:

1. Inestabilidad de Rango: En las primeras etapas de la recolección de datos, el ordenamiento de los dominios cambia significamente debido a que los dominios más citados aún no han acumulado suficientes citas para establecer un liderazgo consistente.
2. Incertidumbre de Medición: Incluso después de que un orden de rango se estabiliza, los intervalos de confianza (IC) alrededor de las cuotas de citación pueden ser demasiado amplios para distinguir entre dominios adyacentes. Un orden de rango estable no es necesariamente un orden preciso; si la "señal" (dispersión de las cuotas) es menor que el "ruido" (incertidumbre de las estimaciones), el ranking no puede sustentar una inferencia fiable.

La dificultad central es que la densidad de citación y la estructura de la distribución varían significamente entre plataformas y temas. Por consiguiente, no se puede justificar universalmente un número fijo de consultas o un umbral de correlación de rango fijo (por ejemplo, $\rho \ge 0.95$).

Metodología

El artículo introduce un marco de convergencia secuencial basado en dos criterios complementarios derivados directamente de la distribución de citación observada, que no requiere objetivos especificados externamente para el recuento de consultas, el nivel de correlación o el ancho del IC.

1. Datos y Estimación

• Conjunto de Datos: El marco fue aplicado a 30 combinaciones de plataforma-tema en tres motores de búsqueda generativos: Google Gemini, OpenAI SearchGPT y Perplexity. Se utilizaron diez temas diversos, con 125 consultas generadas por tema por plataforma.
• Remuestreo Bootstrap: Para cuantificar la incertidumbre, los autores utilizan un remuestreo bootstrap multinomial a nivel de consulta (no a nivel de citación) para preservar el agrupamiento de citas dentro de cada respuesta. Las cuotas de citación se recalculan para cada iteración de bootstrap, y se calculan intervalos de confianza del 95% BCa (corregidos por sesgo y acelerados).
• Dominios Establecidos vs. Observados: Se establece una distincción entre dominios "observados" (citados al menos una vez) y dominios "establecidos" (aquellos cuyo IC del 95% de la cuota de citación excluye el cero). La suficiencia estructural se evalúa únicamente sobre el conjunto de dominios establecidos.

2. Criterio I: Estabilidad de Rango

La estabilidad de rango se determina mediante la detección de una meseta estructural en la trayectoria de la correlación de rango, en lugar de cruzar un umbral fijo.

• Métrica: Se calcula la correlación de rango de Spearman ponderada ($\rho$) entre ventanas acumulativas sucesivas de respuestas. Los pesos son el promedio de las cuotas de citación a través de las dos ventanas, asegurando que los cambios entre dominios de alta cuota contribuyan más a la correlación que los cambios en la cola larga.
• Detección: Se aplica un ajuste de modelo segmentado (utilizando el Algoritmo de Pool-Adjacent-Violators para la regresión isotónica) a la trayectoria de la correlación. El modelo busca una "fase ascendente" seguida de una "cola plana".
• Regla de Decisión: La estabilidad se declara cuando el Criterio de Información Bayesiano (BIC) selecciona un modelo con una cola plana sobre un modelo de ascenso puro, y esa cola plana abarca al menos 15 respuestas consecutivas. Este enfoque detecta cuándo el ordenamiento ha dejado de cambiar, independientemente del valor absoluto de la correlación (que puede ser inferior a 0.95 en entornos de citación dispersos).

3. Criterio II: Suficiencia Estructural

La suficiencia estructural evalúa si la dispersión de las cuotas de citación entre los dominios establecidos es lo suficientemente grande en relación con su incertidumbre de medición para sustentar la inferencia.

• Métrica: Se calcula una Relación Señal-Ruido (SNR) Estructural:
  $$\text{SNR} = \frac{\sigma(s_d : d \in D_{est})}{\bar{h}_{CI}}$$
  Donde $\sigma$ es la desviación estándar de las cuotas de citación entre los dominios establecidos (señal), y $\bar{h}_{CI}$ es el ancho medio de sus intervalos de confianza de bootstrap del 95% (ruido).
• Regla de Decisión: La suficiencia se logra cuando $\text{SNR} \ge 1$. Esto indica que la dispersión de las cuotas excede la incertidumbre típica de la medición. La serie de SNR bruta se suaviza mediante un Promedio Móvil Exponencialmente Ponderado (EWMA) para evitar que fluctuaciones transitorias activen un paro prematuro.

4. Convergencia Conjunta

Una combinación de plataforma-tema se considera "convergida" solo cuando ambos la estabilidad de rango y la suficiencia estructural se satisfacen simultáneamente. El punto de parada es el más tardío de los dos órdenes de activación individuales.

Resultados Clave

El marco fue aplicado a 30 combinaciones de plataforma-tema (10 temas $\times$ 3 plataformas).

• Tasas de Convergencia: Dentro de una ventana de recolección de 125 respuestas, 27 de las 30 combinaciones convergieron. Los tres casos no convergentes fueron todos en SearchGPT para temas específicos ("protección de identidad", "destinos de viaje", "chili casero"), donde las cuotas de citación estaban demasiado compactas en relación con el ruido de la medición para que el SNR alcanzara 1.
• Restricciones Vinculantes:
  • En 16 de los 27 casos convergidos, la estabilidad de rango fue la restricción vinculante (la última condición en cumplirse).
  • En 11 de los 27 casos convergidos, la suficiencia estructural fue la restricción vinculante.
  • Esto demuestra que la estabilidad por sí sola es insuficiente; la precisión suele ir por detrás de la estabilidad.
• Fallo de los Umbrales Fijos: Un umbral de correlación fijo de $\rho \ge 0.95$ sostenido durante 15 respuestas se cumplió en solo 19 de las 30 combinaciones. El método de detección basado en la meseta identificó con éxito la estabilidad en los 30 casos, incluyendo aquellos donde la densidad de citación era demasiado baja para alcanzar jamás $\rho = 0.95$.
• Validación: Los autores compararon el ordenamiento en el punto de parada contra el ordenamiento en la ventana completa de 125 respuestas.
  • El paro basado únicamente en la estabilidad de rango resultó en un acuerdo deficiente en algunos casos (por ejemplo, SearchGPT/"protección de identidad" tuvo una correlación de solo 0.364 con el ranking final).
  • El criterio conjunto mejoró el "suelo" del acuerdo, elevando el acuerdo certificado en el peor de los casos a 0.717.
  • La mediana del acuerdo entre los ordenamientos de parada y los finales para los casos convergidos fue de 0.844.
• Diferencias de Plataforma: La velocidad de convergencia no fue determinada por la identidad de la plataforma, sino por la densidad de citación y el agrupamiento dentro de la consulta (Efecto de Diseño). SearchGPT, a pesar de citar menos dominios por respuesta, tenía un menor agrupamiento, lo que significa que cada respuesta aportaba más datos "efectivos" que una respuesta de Gemini o Perplexity.

Significado y Contribuciones

El artículo realiza tres contribuciones principales al campo de la optimización y evaluación de la visibilidad de la IA generativa:

1. La Estabilidad de Rango como Criterio de Convergencia: Establece que la estabilidad de rango debe detectarse mediante una meseta estructural en la trayectoria de la correlación (usando selección de modelos) en lugar de cruzar un umbral de correlación fijo. Esto resuelve el problema donde la baja densidad de citación impide que los umbrales fijos se cumplan, incluso cuando la distribución subyacente se ha estabilizado.
2. La Suficiencia Estructural como Regla de Parada: Introduce un criterio de parada basado en datos que utiliza la relación entre la señal (dispersión de cuotas) y el ruido (ancho del IC). Esto va más allá de la simple estimación del tamaño de la muestra para asegurar que los datos recolectados sean lo suficientemente precisos para distinguir entre competidores.
3. Rechazo de Presupuestos Fijos: Los resultados demuestran que ningún presupuesto de recolección fijo (número de consultas) es universalmente suficiente. La cantidad de datos requerida depende enteramente de la distribución de citación específica de la plataforma y el tema. El marco proporciona un mecanismo práctico y autocalibrable para determinar cuándo una medición está lista para un análisis comparativo.

El marco se presenta como una base práctica para determinar cuándo las mediciones de visibilidad de la IA han transitado del ruido estocástico a una señal estable y fiable, permitiendo a los profesionales tomar decisiones competitivas con límites de incertidumbre conocidos.