Sintesi Tecnica: Mappatura del Bias Per-Entità per la Visibilità dell'IA

Definizione del Problema

Gli attuali framework per misurare la visibilità dell'IA si basano su metriche aggregate come la frequenza delle menzioni o i tassi di citazione, assumendo che una menzione di un brand equivalga a un segnale positivo. Questo documento sostiene che tali misure aggregate siano insufficienti perché non riescono a distinguere tra menzioni verificate (accurate, supportate da fonti) e menzioni grezze (che possono essere non supportate, fuorvianti o fabbricate).

Il problema centrale è che i Large Language Models (LLM) non si limitano a allucinare ciò che non sanno; spesso fabbricano ciò che conoscono solo parzialmente. Questa zona di "conoscenza parziale" porta alla Cartografia Fantasma (Ghost Cartography), dove i modelli generano output sicuri e dall'aspetto documentato per entità che risiedono in regioni latenti scarse, interpolando dati da regioni adiacenti più dense. Il documento identifica tre specifici modi di fallimento:

1. Invisibilità: Le entità sottorappresentate (spesso piccole o provenienti da regioni specifiche) soffrono di una debolezza nei dati strutturati e dell'assenza in grafi di conoscenza.
2. Il Paradosso dell'Allucinazione del Brand: Le entità grandi e familiari soffrono in modo sproporzionato di falsa attribuzione, poiché la loro familiarità fornisce una superficie robusta per completamenti plausibili ma errati.
3. Il Gap Infrastrutturale delle Entità CEE: Le entità provenienti dall'Europa Centrale e Orientale (CEE) affrontano deficit strutturali nella presenza nei grafi di conoscenza, nel riconoscimento delle entità nominate (NER) per lingue morfologicamente complesse e nel collegamento delle entità (entity linking).

Inoltre, il documento introduce l'Asimmetria del Lag Parametrico-Retrieval, osservando che i sistemi con recupero aumentato (RAG) si aggiornano entro pochi giorni, mentre la memoria parametrica (pesi del modello) rimane congelata per 12–24 mesi, creando rappresentazioni divergenti della stessa entità.

Metodologia

Lo studio impiega un design comparativo a due livelli per validare empiricamente queste ipotesi.

• Campione di Entità: 100 entità B2B ungheresi divise in due strati:
  • Tier 1 (Alta Salienza, n=50): Società quotate pubblicamente e sussidiarie globali (es. OTP Bank, MOL Group).
  • Tier 3 (Bassa Salienza, n=50): PMI ungheresi con minima presenza internazionale.
  • Nota: Il Tier 2 è stato escluso per massimizzare il contrasto.
• Piattaforme: Due LLM parametrici tramite API: Anthropic Claude (claude-sonnet-4-6) e OpenAI GPT-4o (gpt-4o-2024-08-06). I sistemi di recupero aumentato sono stati esclusi dallo studio principale per isolare gli effetti della memoria parametrica.
• Strumento di Query: Ogni entità è stata interrogata con 7 template di query che forzano la citazione (QT01–QT07) in lingua ungherese, spaziando dalla conformità normativa (GDPR, EU AI Act) alla ricerca di prove (ISO, ESG) e alla citazione fattuale.
• Raccolta Dati: 1.400 sessioni di probe (100 entità × 2 piattaforme × 7 query) condotte il 22 maggio 2026.
• Protocollo di Verifica:
  • Automatizzato: Richieste HTTP HEAD per verificare l'esistenza degli URL e lookup tramite API Crossref per i DOI. Le fonti che restituivano uno stato diverso da 200 o non erano risolvibili sono state classificate come fabbricate.
  • Codifica Umana: Un campione stratificato (n=90) è stato preparato per l'affidabilità inter-codificatore al fine di distinguere tra URL fabbricati e fonti erroneamente attribuite (raggiungibili ma inaccurate).
• Analisi Statistica: Test Chi-quadro per le differenze tra tier, test esatto di Fisher per i confronti tra classi di query con correzione FDR di Benjamini–Hochberg e regressione logistica per predire la fabbricazione basata sulla presenza di infrastruttura.

Contributi Chiave

Il documento introduce la Mappatura del Bias Per-Entità (PEBM), un framework diagnostico a dieci dimensioni per l'audit delle entità tramite IA. I principali contributi concettuali ed empirici includono:

1. Cartografia Fantasma (Ghost Cartography): Un meccanismo unificante che descrive come i modelli riempiono le regioni latenti scarse con contenuti interpolati e sicuri provenienti da regioni dense adiacenti.
2. Spazio di Confabulazione Bidimensionale:
   • Tipo 3 (Paradosso dell'Allucinazione del Brand): Presenza fabbricata dove l'entità è abbastanza familiare da innescare il completamento dello schema, ma manca di densità probatoria sufficiente.
   • Tipo 4 (Asimmetria del Lag Parametrico-Retrieval): Rappresentazione congelata dove il modello genera output al tempo presente per entità che sono cambiate dall'addestramento.
3. Il Framing Normativo come Attivatore: L'identificazione del fatto che le query su conformità e regolamentazione agiscono come attivatori sistematici di allucinazioni, elevando i tassi di fabbricazione di +15,5 o +19,2 punti percentuali rispetto alle query fattuali. Ciò è guidato da cinque meccanismi convergenti: attivazione del pattern di distribuzione dell'addestramento, co-occorrenza di n-grammi, l'inferenza del "dovrebbe esistere", la pressione di autorità indotta da RLHF e i loop di fluidità.
4. Escalation della Confabulazione Indotta dal Rifiuto: Un modello teorico che propone come il rifiuto ripetuto delle risposte dell'IA nelle catene di prompt aumenti sistematicamente la probabilità di fabbricazione. Ciò suggerisce che i filtri di qualità agentica, progettati per migliorare la specificità, possano paradossalmente fungere da acceleratori di allucinazione nei contesti di conformità.
5. Tassonomia della Morfologia degli URL: Una classificazione empirica di 946 fonti fabbricate, che rivela come il 50,5% siano "Miraggi Plausibili" (errori HTTP 404 su domini reali) e che il 51,9% di questi colpisca domini di autorità normativa (es. autorità per la concorrenza o protezione dei dati ungheresi) piuttosto che il dominio dell'entità stessa.

Risultati Empirici

Lo studio fornisce prove statistiche a supporto del Paradosso dell'Allucinazione del Brand e del Gap Infrastrutturale delle Entità CEE:

• Tassi di Fabbricazione per Tier: Le entità ad alta salienza (Tier 1) hanno mostrato un tasso di citazione fabbricata significativamente più alto (52,69%) rispetto alle entità a bassa salienza (Tier 3) (37,87%).
  • Statistica: $\chi^2 = 45,326$, $p = 1,67 \times 10^{-11}$, Cohen's $h = 0,299$.
  • Interpretazione: La familiarità aumenta la probabilità di una falsa attribuzione sicura.
• Effetti della Classe di Query: Le query sulla conformità normativa hanno prodotto il tasso di fabbricazione più elevato (56,77%), significativamente superiore alla base fattuale (37,59%).
  • Statistica: $q$ corretto per FDR $< 0,001$.
• Differenze tra Piattaforme: Anthropic Claude ha mostrato una maggiore propensione a citare fonti (1,34 per run) rispetto a GPT-4o (0,13 per run), risultando in un tasso di fabbricazione assoluto più elevato per Claude (48,17% vs 22,10%). GPT-4o spesso rifiutava di fornire fonti per le entità a bassa salienza.
• Impatto dell'Infrastruttura: Le entità del Tier 1 avevano una probabilità circa 7 volte maggiore di avere una presenza nelle infrastrutture di conoscenza aperta (Wikipedia/Wikidata) rispetto alle entità del Tier 3 (OR = 6,77, $p = 0,0002$).
  • Effetto Protettivo: La presenza su Wikipedia in inglese è stata associata a una riduzione del 63% delle probabilità di una fonte fabbricata (OR = 0,37, $p < 0,001$). La presenza su Wikipedia ungherese non ha mostrato un effetto protettivo indipendente significativo, probabilmente a causa della minore rappresentazione nei corpora di addestramento degli LLM.

Significato e Rivendicazioni

Il documento sostiene che la visibilità dell'IA debba passare da una metafora di "mappa" (posizionamento statico) a una metafora di "campo" (ricostruzione dinamica basata sulla densità di evidenza). La sua importanza primaria risiede in:

1. Riformulazione della Visibilità: Stabilire che una menzione grezza non è un segnale positivo, ma un potenziale vettore di rischio che richiede verifica.
2. Metodologia di Audit: Fornire un ponte metodologico dalla ricerca sull'equità algoritmica all'audit delle entità organizzative, trattando l'entità come l'unità di calibrazione piuttosto che la media della piattaforma.
3. Implicazioni per la Sicurezza: Identificare l' "amplificazione avversaria passiva", dove gli attori possono sfruttare il framing normativo per generare citazioni credibili ma inesistenti senza accesso al modello o prompt injection.
4. Necessità Strategica: Argomentare che le organizzazioni non possono controllare direttamente come i sistemi generativi le rappresentano, ma possono alterare il "campo di evidenza" (dati strutturati, identificatori canonici, citazioni di terze parti) da cui tali rappresentazioni vengono ricostruite.

Il documento conclude che, senza una calibrazione specifica per entità che distingua tra presenza e fedeltà, le organizzazioni rischiano di misurare fenomeni diversi sotto la stessa etichetta, rendendo inefficaci le attuali strategie di visibilità nel web agentico.