Resumen Técnico: Recomendaciones Divergentes, Diagnósticos Convergentes

Planteamiento del Problema

A medida que las audiencias de las marcas se fragmentan entre múltiples proveedores de IA (por ejemplo, ChatGPT, Claude, Gemini), los equipos de marketing enfrentan una incertidumbre estratégica: ¿deben implementar un único manual de optimización para todos los proveedores, o deben diseñar estrategias distintas para cada uno? La premisa de la industria, impulsada por los paneles de control por proveedor, asume que los conjuntos de recomendaciones difieren significamente entre proveedores, lo que implica que las intervenciones (contenido, autoridad, posicionamiento) son específicas de cada proveedor. Sin embargo, la hipótesis teórica de la "monocultura algorítmica" sugiere que los proveedores que comparten datos de entrenamiento y linaje arquitectónico deberían exhibir exclusiones correlacionadas (fallos en la recuperación) incluso si sus inclusiones específicas (recomendaciones) divergen. Este documento pone a prueba empíricamente si los conjuntos de recomendaciones divergen mientras que el diagnóstico de fallos conjuntos converge, y si esta convergencia se mantiene a través de los distintos niveles de prominencia de la marca.

Metodología

El estudio emplea un diseño de auditoría cross-provider comparando modelos de OpenAI (gpt-5.4, gpt-5.4-mini) y Anthropic (claude-sonnet-4-6, claude-opus-4-6).

• Datos y Prompts: El análisis cubre 215 prompts con encuadre comercial a través de cuatro lotes de medición independientes, evaluados contra un corpus sombra de 533 marcas de referencia estratificadas en cinco niveles de prominencia (L1: Líderes de categoría a L5: Jugadores regionales).
• Extracción de Consenso: Las menciones de marca en las capas de recuperación (consultas de búsqueda, fragmentos, dominios) y en el texto de finalización se extrajeron utilizando un protocolo de consenso de jueces cruzados (dos jueces de LLM) para asegurar la robustidad frente a la inestabilidad de un solo juez.
• Clasificación por Etapas del Embudo: Para cada celda (prompt × marca × proveedor), las marcas se clasificaron en cuatro etapas:
  • S1 (Descubribilidad): Marca ausente de todas las capas de recuperación y de la finalización.
  • S2 (Capacidad de Persuasión/Compellingness): Marca presente en la recuperación pero ausente en la finalización.
  • S3 (Posicionamiento): Marca presente en la finalización pero no recomendada.
  • S4 (Éxito): Marca consensuada y recomendada.
• Restricción de Fallo Conjunto: El análisis central se centra en 7,763 celdas de "fallo conjunto" donde ningún proveedor recomendó la marca (es decir, ambos fallaron en S1, S2 o S3).
• Señales Mecanísticas:
  • Participación de Priores Puros (Pure-Priors Share): La proporción de recomendaciones realizadas sin evidencia observable en la capa de recuperación (lo que indica dependencia de la memoria paramétrica).
  • Reconstrucción de Lote (Solo OpenAI): Rastreo de si las consultas de desambiguación de marca aparecieron en el primer lote de búsqueda para medir el anclaje de recuperación.
• Análisis Estadístico: Se calcularon métricas de acuerdo (similitud de Jaccard, acuerdo bruto, $\kappa$ de Cohen) con intervalos de confianza de bootstrap del 95% (1,000 iteraciones) agrupados por prompt para dar cuenta de la no independencia de las observaciones (prompt × marca).

Contribuciones Clave

1. Cuantificación de la Divergencia de Recomendación Cross-Provider: El estudio establece que los conjuntos de recomendaciones entre proveedores son significativamente menos similares que la estabilidad de las ejecuciones repetidas dentro de un mismo proveedor. La similitud de Jaccard cross-provider es de 0.35 (95% CI: [0.323, 0.391]), situándose muy por debajo de la línea base de ejecución interna de 0.50–0.61.
2. Asimetría Mecanística en las Rutas de Recomendación: Los proveedores alcanzan sus selecciones mediante rutas generativas mensurablemente distintas.
   • Anthropic: Los modelos insignia recomiendan marcas basadas en priores paramétricos (sin evidencia de recuperación) en el 43–52% de los casos.
   • OpenAI: Los modelos dependen fuertemente de la recuperación, con recomendaciones de puro prior que oscilan entre el 8–29%. La reconstrucción de lotes confirma que OpenAI emite consultas de desambiguación de marca en el primer lote de búsqueda el 60–71% de las veces.
3. Convergencia de Modos de Fallo con un Gradiente de Prominencia: Mientras que las selecciones divergen, el diagnóstico de por qué una marca no fue recomendada converge abrumadoramente, pero esta convergencia está estrictamente estratificada por la prominencia de la marca.
   • Acuerdo General: En fallos conjuntos, ambos proveedores diagnostican el mismo estadio de fallo el 95.1% de las veces (95% CI: [94.3%, 95.7%]).
   • Gradiente Monótono: El acuerdo aumenta a medida que la prominencia de la marca disminuye:
     • L1 (Líderes de Categoría): 81.2% de acuerdo.
     • L5 (Jugadores Regionales): 99.6% de acuerdo.
   • Impulsor: La convergencia es impulsada por los fallos de S1 (Descubribilidad). Para las marcas de la cola larga (long-tail, L4–L5), ambos proveedores fallan en descubrir la marca al mismo ritmo. Para los líderes (L1), el desacuerdo persiste en las etapas posteriores a la recuperación (S2/S3).

Resultados

• Selecciones Divergentes, Diagnósticos Convergentes: Los proveedores seleccionan diferentes marcas (bajo Jaccard) pero coinciden en por qué fallan al recomendar una marca cuando ambos fallan.
• El Rol de la Prominencia: La cifra de acuerdo agrupada del 95.1% está fuertemente influenciada por la dominancia de los fallos de S1 en la cola larga. Al restringir el análisis a casos donde al menos un proveedor falla en S2 o S3 (post-recuperación), el acuerdo diagonal cae al 14.9%. Esto indica que, si bien los proveedores coinciden en las marcas "ausentes" (S1), no coinciden en por qué una marca recuperada no es recomendada (S2 vs. S3) para entidades de alta prominencia.
• Portabilidad Intra-Celda: Una extensión de 3,000 ejecuciones que prueba variaciones dentro del mismo proveedor (ej. gpt-5.4-mini vs. gpt-5.4, sonnet vs. opus) encontró que el acuerdo en el mismo estadio sigue siendo alto (94.9%–98.3%). Esto sugiere que la convergencia diagnóstica es una propiedad de la población de fallo conjunto más que un artefacto específico de la comparación entre proveedores.
• Evidencia Mecanística: La señal de "puros-priores" confirma que Anthropic depende más del conocimiento interno para las recomendaciones, mientras que OpenAI está más anclado a la recuperación. A pesar de estas diferentes rutas, la exclusión de marcas de la cola larga está correlacionada, lo que respalda la hipótesis de la monocultura algorítmica para los fallos, pero no para los éxitos.

Significado y Reivindicaciones

El documento afirma proporcionar la primera evidencia concreta de recomendaciones comerciales para la hipótesis de la "monocultura algorítmica", demostrando específicamente exclusiones correlacionadas (fallos convergentes) junto con inclusiones no correlacionadas (selecciones divergentes).

La principal implicación práctica es un alcance de las intervenciones de marketing hacia la IA:

• Para Marcas de la Cola Larga (L4–L5): Se espera que una intervención única y agnóstica al proveedor dirigida a S1 (descubribilidad) —como la siembra de listas de autoridad o la creación de contenido canónico— eleve la visibilidad en ambos proveedores simultáneamente. El diagnóstico de "por qué" falta la marca es esencialmente el mismo para ambos.
• Para Líderes de Categoría (L1–L2): Las estrategias específicas de cada proveedor siguen siendo necesarias. Dado que los proveedores divergen en los modos de fallo post-recuperación (S2/S3) para marcas de alta prominencia, las intervenciones relativas al posicionamiento y la optimización de contenido deben adaptarse a la lógica específica de recuperación y generación de cada proveedor.

Los autores concluyen que la estrategia de "diagnosticar una vez, aconsejar una vez" es una afirmación sólida para la descubribilidad de la cola larga, pero una afirmación más débil y dependiente de la prominencia para la atribución de fallos post-recuperación. El estudio refina, en lugar de rechazar, la hipótesis de la monocultura al mostrar que un sustrato compartido conduce a fallos compartidos, mientras que un entrenamiento posterior divergente conduce a rutas de éxito divergentes.