Riepilogo Tecnico: Raccomandazioni Divergenti, Diagnosi Convergenti

Problema

Poiché il pubblico dei brand si frammenta tra molteplici fornitori di IA (ad es. ChatGPT, Claude, Gemini), i team di marketing affrontano un'incertezza strategica: dovrebbero implementare un unico playbook di ottimizzazione per tutti i fornitori, o devono invece elaborare strategie distinte e su misura per ciascuno? La premessa del settore, guidata dalle dashboard specifiche per ogni fornitore, presuppone che i set di raccomandazioni differiscano significativamente tra i vari provider, implicando che gli interventi (contenuti, autorità, posizionamento) siano specifici per il singolo fornitore. Tuttavia, l'ipotesi teorica della "monocultura algoritmica" suggerisce che i fornitori che condividono dati di addestramento e lignaggio architettonico debbano esibire esclusioni correlate (fallimenti nel recupero) anche se le loro specifiche inclusioni (raccomandazioni) divergono. Questo documento testa empiricamente se i set di raccomandazioni divergono mentre la diagnosi dei fallimenti congiunti converge, e se tale convergenza si mantenga attraverso i diversi livelli di prominenza del brand.

Metodologia

Lo studio impiega un design di audit cross-provider confrontando i modelli OpenAI (gpt-5.4, gpt-5.4-mini) e Anthropic (claude-sonnet-4-6, claude-opus-4-6).

• Dati e Prompt: L'analisi copre 215 prompt strutturati commercialmente attraverso quattro batch di misurazione indipendenti, valutati contro un corpus ombra di 533 brand di riferimento stratificati in cinque livelli di prominenza (L1: Leader di categoria a L5: Player regionali).
• Estrazione del Consenso: Le menzioni dei brand nei livelli di recupero (query di ricerca, snippet, domini) e nel testo di completamento sono state estratte utilizzando un protocolo di consenso cross-judge (due giudici LLM) per garantire la robustezza contro l'instabilità del singolo giudice.
• Classificazione per Stadi del Funnel: Per ogni cella (prompt × brand × fornitore), i brand sono stati classificati in quattro stadi:
  • S1 (Discoverability/Scopribilità): Brand assente da tutti i livelli di recupero e dal completamento.
  • S2 (Compellingness/Potenziale di Attrattiva): Brand presente nel recupero ma assente dal completamento.
  • S3 (Positioning/Posizionamento): Brand presente nel completamento ma non raccomandato.
  • S4 (Success/Successo): Brand consensualmente raccomandato.
• Restrizione ai Fallimenti Congiunti: L'analisi principale si concentra su 7.763 celle di "fallimento congiunto" in cui nessuno dei due fornitori ha raccomandato il brand (ovvero, entrambi sono falliti in S1, S2 o S3).
• Segnali Meccanicistici:
  • Pure-Priors Share: La proporzione di raccomandazioni effettuate senza alcuna evidenza osservabile nei livelli di recupero (indicando un affidamento sulle memorie parametriche).
  • Batch-Reconstruction (Solo OpenAI): Tracciamento per determinare se le query di disambiguazione del brand siano apparse nel primo batch di ricerca per misurare l'ancoraggio al recupero (retrieval-anchoring).
• Analisi Statistica: Sono stati calcolati indicatori di accordo (similarità di Jaccard, accordo grezzo, $\kappa$ di Cohen) con intervalli di confidenza bootstrap al 95% (1.000 iterazioni) raggruppati per prompt, per tenere conto della non-indipendenza delle osservazioni (prompt × brand).

Contributi Chiave

1. Quantificazione della Divergenza delle Raccomandazioni Cross-Provider: Lo studio stabilisce che i set di raccomandazioni tra diversi fornitori sono significativamente meno simili rispetto alla stabilità intra-provider nelle ripetizioni (rerun). La similarità di Jaccard cross-provider è 0,35 (95% CI: [0,323, 0,391]), ben al di sotto della baseline di rerun intra-cella di 0,50–0,61.
2. Asimmetria Meccanicistica nelle Rotte di Raccomandazione: I fornitori raggiungono le loro scelte attraverso percorsi generativi misurabilmente diversi.
   • Anthropic: I modelli flagship raccomandano i brand basandosi su prior parametrici (senza evidenza di recupero) nel 43–52% dei casi.
   • OpenAI: I modelli si affidano pesantemente al recupero, con raccomandazioni basate su pure-priors che variano dall'8 al 29%. La ricostruzione dei batch conferma che OpenAI emette query di disambiguazione del brand nel primo batch di ricerca nel 60–71% dei casi.
3. Convergenza dei Modelli di Fallimento con un Gradiente di Prominenza: Sebbene le scelte divergano, la diagnosi del motivo per cui un brand non è stato raccomandato converge ampiamente, ma tale convergenza è strettamente stratificata per prominenza del brand.
   • Accordo Complessivo: Sui fallimenti congiunti, entrambi i fornitori diagnosticano lo stesso stadio di fallimento il 95,1% delle volte (95% CI: [94,3%, 95,7%]).
   • Gradiente Monotono: L'accordo aumenta al diminuire della prominenza del brand:
     • L1 (Leader di Categoria): 81,2% di accordo.
     • L5 (Player Regionali): 99,6% di accordo.
   • Driver: La convergenza è guidata dai fallimenti di tipo S1 (Scopribilità). Per i brand della "long tail" (L4–L5), entrambi i fornitori falliscono nel scoprire il brand con lo stesso tasso. Per i leader (L1), il disaccordo persiste negli stadi successivi al recupero (S2/S3).

Risultati

• Scelte Divergenti, Diagnosi Convergenti: I fornitori selezionano brand differenti (bassa similarità di Jaccard) ma concordano sul perché non raccomandano un brand quando entrambi falliscono.
• Il Ruolo della Prominenza: La cifra dell'accordo aggregato del 95,1% è fortemente influenzata dalla dominanza dei fallimenti S1 nella coda lunga. Restringendo l'analisi ai casi in cui almeno un fornitore fallisce in S2 o S3 (post-recupero), l'accordo diagonale scende al 14,9%. Ciò indica che, mentre i fornitori concordano sui brand "mancanti" (S1), non concordano sul motivo per cui un brand recuperato non viene raccomandato (S2 vs S3) per entità ad alta prominenza.
• Portabilità Cross-Cell: Un'estensione di 3.000 run che testa le variazioni intra-provider (ad es. gpt-5.4-mini vs gpt-5.4, sonnet vs opus) ha rilevato che l'accordo nello stesso stadio rimane elevato (94,9%–98,3%). Ciò suggerisce che la convergenza diagnostica è una proprietà della popolazione di fallimento congiunto piuttosto che un artefatto specifico del confronto tra provider.
• Evidenza Meccanicistica: Il segnale delle "pure-priors" conferma che Anthropic si affida maggiormente alla conoscenza interna per le raccomandazioni, mentre OpenAI è più ancorato al recupero. Nonostante queste diverse rotte, l'esclusione dei brand della coda lunga è correlata, supportando l'ipotesi della monocultura algoritmica per i fallimenti, ma non per i successi.

Significato e Rivendicazioni

Il documento sostiene di fornire la prima prova concreta nelle raccomandazioni commerciali per l'ipotesi della "monocultura algoritmica", dimostrando specificamente esclusioni correlate (fallimenti convergenti) insieme a inclusioni non correlate (scelte divergenti).

La principale implicazione pratica riguarda la definizione dello scopo degli interventi di marketing verso l'IA:

• Per i Brand della Coda Lunga (L4–L5): Un intervento unico e agnostico rispetto al fornitore che punti sulla S1 (scopribilità) — come il seeding di liste di autorità o la creazione di contenuti canonici — dovrebbe aumentare la visibilità su entrambi i fornitori simultaneamente. La diagnosi del "perché" il brand manchi è essenzialmente la stessa per entrambi.
• Per i Leader di Categoria (L1–L2): Rimangono necessarie strategie specifiche per ogni fornitore. Poiché i fornitori divergono sui modelli di fallimento post-recupero (S2/S3) per i brand ad alta prominenza, gli interventi riguardanti il posizionamento e l'ottimizzazione dei contenuti devono essere personalizzati in base alla logica di recupero e generazione del singolo fornitore.

Gli autori concludono che la strategia "diagnostica una volta, consiglia una volta" è un'affermazione forte per la scopribilità della coda lunga, ma più debole e dipendente dalla prominenza per quanto riguarda l'attribuzione dei fallimenti post-recupero. Lo studio perfeziona, piuttosto che rifiutare, l'ipotesi della monocultura, mostrando come il substrato condiviso porti a fallimenti condivisi, mentre l'addestramento post-elaborazione porti a rotte di successo divergenti.