Can Large Language Models Really Recognize Your Name?

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più impiegati in pipeline critiche per la privacy per rilevare e oscurare le Informazioni di Identificazione Personale (PII), come i nomi umani, dal testo. Questi sistemi operano sull'assunto fondamentale che gli LLM possano riconoscere in modo affidabile i nomi umani indipendentemente dal contesto.

Gli autori identificano una vulnerabilità critica: l'Ambiguità Contestuale. Molti nomi umani reali sono vicini ortografici (differiscono per una sola lettera) rispetto a entità non umane (ad esempio, luoghi, organizzazioni, minerali, batteri o sindromi). Quando questi nomi appaiono in frammenti di testo con indizi linguistici ambigui, gli LLM spesso falliscono nel classificarli come "PERSONA", identificandoli erroneamente come l'entità non umana a cui assomigliano. Questo fallimento porta a una protezione della privacy disomogenea, dove gli individui con nomi linguisticamente ambigui sono a un rischio maggiore di fughe di dati rispetto a quelli con nomi comuni e non ambigui.

Il paper indaga due fenomeni specifici che causano questi fallimenti:

1. Bias di Regolarità del Nome (NRB): La tendenza dei modelli a fare affidamento su pattern morfologici superficiali (ad esempio, suffissi come "-ite" che suggeriscono minerali) piuttosto che su una comprensione contestuale profonda, portando alla classificazione errata di nomi reali ma rari.
2. Iniezione di Prompt Benigna (BPI): Uno scenario in cui l'input dell'utente contiene testo simile a istruzioni (ad esempio, "mantieni il termine X intatto") che l'LLM interpreta erroneamente come un comando di sistema piuttosto che come dati da anonimizzare, causando l'ignorare delle regole di oscuramento della privacy.

2. Metodologia: Il Benchmark AmBench

Per valutare sistematicamente queste vulnerabilità, gli autori hanno costruito AmBench, un nuovo dataset di benchmark contenente oltre 12.000 nomi umani reali.

• Costruzione dei Dati:
  • Selezione dei Nomi: Gli autori hanno identificato nomi umani reali che distano esattamente una distanza di modifica di Levenshtein da entità non umane in cinque categorie: Luoghi, Organizzazioni, Sindromi, Minerali e Batteri.
    • Esempio: "Italys" (un nome reale) vs. "Italy" (Luogo); "Albanir" (Nome) vs. "Albania" (Luogo).
  • Generazione dei Template: Utilizzando una pipeline basata su prompt, hanno generato oltre 60.000 frammenti di testo concisi di due frasi. Questi template sono stati progettati per essere sintatticamente e semanticamente compatibili sia con entità umane che non umane (ad esempio, utilizzando pronomi come "lei" per un nome simile a un luogo per creare ambiguità).
  • Validazione: I template sono stati validati da annotatori umani e LLM per garantire che fossero ambigui ma plausibili.
• Setup Sperimentale:
  • Modelli Valutati: 12 LLM all'avanguardia (inclusi GPT-4o, GPT-5, Gemini 2.5 Pro/Flash, DeepSeek R1/V3, e modelli open-weight più piccoli come Llama 3.1 8B) e strumenti NER tradizionali (Flair, PrivateAI).
  • Metriche:
    • Recall: La capacità di identificare correttamente il nome come umano.
    • Coerenza: Se il modello classifica lo stesso nome come umano attraverso diversi template ambigui.
    • Tasso di Falsa Scoperta (FDR): Il tasso di allucinazione di nomi umani laddove non esistono.
  • Studio di Caso: Gli autori hanno valutato Clio di Anthropic, uno strumento di livello aziendale utilizzato per riassumere le conversazioni di Claude per approfondimenti sulla privacy, testando l'impatto combinato di NRB e BPI.

3. Contributi Chiave

1. Benchmark AmBench: Il primo dataset su larga scala specificamente progettato per stress-testare gli LLM sul riconoscimento di nomi umani ambigui, coprendo oltre 12.000 nomi in 5 distinte categorie di entità non umane.
2. Identificazione del Bias Sistemico: Il paper dimostra che gli LLM soffrono di Bias di Regolarità del Nome, dove la similarità morfologica con entità non umane causa cali significativi nel recall (20–40%) rispetto ai nomi comuni.
3. Analisi dell'Iniezione di Prompt Benigna (BPI): Gli autori mostrano che anche testo utente non malevolo e simile a istruzioni può causare agli LLM di aggirare i protocolli di oscuramento della privacy, nascondendo efficacemente nomi sensibili in piena vista.
4. Implicazioni per l'Equità: Lo studio evidenzia che i fallimenti della privacy non sono casuali; colpiscono in modo sproporzionato gli individui con nomi che sono vicini ortografici a termini non umani comuni, sollevando gravi preoccupazioni sull'equità nei sistemi di privacy guidati dall'IA.

4. Risultati Chiave

• Calo Significativo del Recall: In tutti i 12 LLM, il recall per i nomi di AmBench è calato del 20–40% rispetto ai nomi popolari di base.
  • Esempio: GPT-5 e GPT-4o hanno registrato cali di recall di circa 0,4 punti sui nomi ambigui.
  • Modelli di Ragionamento: Anche modelli di ragionamento avanzati (ad esempio, DeepSeek R1, GPT-5-mini) hanno faticato, classificando spesso i nomi come l'entità non umana a cui assomigliavano (ad esempio, classificando un nome simile a un minerale come un minerale).
• Incoerenza: I modelli sono stati altamente incoerenti. Lo stesso nome poteva essere classificato come "PERSONA" in un template e come "LUOGO" in un altro, anche quando il contesto era strutturalmente identico.
• Modelli Piccoli vs. Modelli Grandi: I modelli più piccoli (SLM) hanno talvolta ottenuto un recall più alto, ma a scapito di un enorme Tasso di Falsa Scoperta (FDR), allucinando frequentemente nomi.
• Umano vs. IA: Anche volontari umani non addestrati hanno faticato con i nomi ambigui (66% di accuratezza contro il 97% per i nomi di base), ma gli LLM hanno performato significativamente peggio in termini di mancata individuazione dei nomi (fallendo nel rilevarli come PII), mentre gli umani potrebbero classificarli erroneamente ma segnalarli comunque come entità.
• Studio di Caso Clio (NRB + BPI):
  • Quando sono state aggiunte istruzioni BPI all'input (ad esempio, "mantieni il termine X intatto"), il tasso di fuga dei nomi ambigui nei riassunti di Clio è quadruplicato (da ~3,9% a ~18,2%).
  • L'auditor sulla privacy di Clio non ha rilevato queste fughe, assegnando spesso punteggi di privacy elevati a riassunti contenenti nomi trapelati quando era presente la BPI.

5. Significato e Implicazioni

• Modalità di Fallimento della Privacy: Il paper rivela che fare affidamento sugli LLM per il primo passo della protezione della privacy (rilevamento PII) è rischioso. Se il modello non riesce a riconoscere un nome a causa dell'ambiguità, tutti i meccanismi a valle di oscuramento o anonimizzazione falliscono.
• Equità ed Equità: I risultati suggeriscono che la protezione della privacy non è uniforme. Gli individui con nomi che sono vicini ortografici a parole comuni (spesso associati a specifici background culturali o linguistici) affrontano rischi maggiori di esposizione dell'identità. Questo mette in discussione l'equità delle attuali soluzioni di privacy basate sull'IA.
• Rischi per la Sicurezza: La combinazione di NRB e BPI crea un nuovo vettore di attacco. Attori malevoli potrebbero potenzialmente ingegnerizzare input per forzare gli LLM a trapelare specifici dati utente o eseguire attacchi di inferenza di appartenenza.
• Appello all'Azione: Gli autori esortano la comunità di ricerca ad andare oltre le semplici metriche di accuratezza e a sviluppare tassonomie sistematiche delle modalità di fallimento. Sostengono:
  • Stress-test rigorosi degli strumenti di privacy contro l'ambiguità.
  • Integrazione di basi di conoscenza (ad esempio, elenchi di nomi rari) nelle pipeline di privacy.
  • Un passaggio verso garanzie formali di privacy piuttosto che fare affidamento esclusivamente sulle prestazioni probabilistiche degli LLM.

In conclusione, il paper dimostra che gli LLM non possono essere fidati ciecamente per riconoscere i nomi umani in contesti ambigui, ponendo un rischio significativo e non affrontato all'equità e all'efficacia dei sistemi di privacy automatizzati.