Sintesi Tecnica: Ottimizzazione Fondata per la Riduzione delle Allucinazioni degli LLM nella Riscrittura Automatica di Documenti Personali

1. Definizione del Problema

L'applicazione dei Large Language Models (LLM) per l'ottimizzazione dei curricula per i sistemi di tracciamento dei candidati (ATS) introduce rischi di allucinazione specifici, distinti dalla generazione di testo generale. A differenza dei chatbot, dove gli utenti possono verificare gli output in modo interattivo, l'ottimizzazione dei curricula opera spesso in modalità batch con una revisione umana minima. Gli autori identificano quattro modalità di fallimento distinte che comportano conseguenze concrete, come la squalifica o il licenziamento del candidato:

1. Fabbricazione Temporale (H1): L'iniezione di tecnologie che non esistevano durante il periodo di impiego dichiarato dal candidato (ad esempio, citare LangChain in un ruolo del 2018).
2. Contaminazione Cross-Domain (H2): L'introduzione di terminologia da ecosistemi tecnologici non presenti nel ruolo originale (ad esempio, aggiungere servizi Azure a un ruolo esclusivamente AWS) per corrispondere alle parole chiave della descrizione del lavoro.
3. Mutazione Strutturale (H3): La fusione, cancellazione o condensazione silenziosa dei punti elenco (bullet points), che rimuove traguardi genuini sotto l'apparenza di "ottimizzazione".
4. Fabbricazione di Contenuto (H4): L'invenzione di nomi di aziende, l'inflazione di metriche o l'aggiunta di certificazioni non guadagnate.

La verità di base (ground truth) in questo dominio è la storia professionale del candidato stesso, che l'LLM deve migliorare senza distorcere.

2. Metodologia: Il Framework di Ottimizzazione Fondata (Grounded Optimization)

Gli autori propongono l'Ottimizzazione Fondata, un framework di difesa in profondità a cinque livelli implementato come un sistema multi-agente su LangGraph. Il sistema elabora i curricula attraverso agenti specializzati (Riassunto, Competenze, Esperienza, Progetti, Istruzione), con l'Agente Esperienza che riceve l'intero stack di difesa. I livelli operano in una sequenza specifica: Livello 4 (Iniezione nel Prompt) → Chiamata LLM → Livelli 1–3 (Validazione dell'Output) → Livello 5 (Gate dell'Evalluatore).

Livello 1: Validazione del Contesto Temporale

Questo livello previene l'iniezione anacronistica di tecnologie costruendo una cronologia per ogni curriculum. Incorpora una mappatura curata delle date di rilascio delle tecnologie (ad esempio, LangChain → 2022) nei prompt dell'agente. L'LLM riceve l'istruzione di verificare che qualsiasi tecnologia menzionata in un ruolo specifico esistesse durante il periodo di quel ruolo.

Livello 2: Rilevamento della Contaminazione Cross-Domain

Per affrontare la dispersione cross-domain, gli autori impiegano un meccanismo completamente deterministico e privo di LLM. Hanno costruito una tassonomia di 257 servizi cloud tra gli stack AWS, GCP, Azure e On-Premise. Il rilevamento utilizza un sistema di corrispondenza regex a due livelli con controllo dei confini delle parole:

• Tier 1: Attribuisce un provider basandosi su una singola corrispondenza esplicita di parola chiave.
• Tier 2: Richiede $\ge$2 corrispondenze del nome del servizio per risolvere l'ambiguità (ad esempio, distinguere "lambda" come AWS Lambda rispetto a una parola chiave di Python).
  Il sistema confronta la firma cloud di un ruolo prima e dopo l'ottimizzazione. Se vengono rilevati nuovi provider, l'output viene annullato e viene iniettato un avviso per un nuovo tentativo.

Livello 3: Imposizione dell'Invariante Strutturale

Questo livello affronta la mutazione strutturale contando le unità semantiche prima e dopo l'ottimizzazione. Valida che il numero di voci di esperienza ($|E'| \ge |E|$) e di punti elenco per voce ($|b'_i| \ge |b_i| - 1$) sia mantenuto entro una tolleranza. Una perdita significativa di contenuto innesca un nuovo tentativo con obiettivi strutturali espliciti.

Livello 4: Radicamento del Contenuto a Livello di Prompt

Questa è la prima linea di difesa, che inserisce regole di immutabilità esplicite direttamente nei prompt degli agenti. I vincoli includono:

• Preservare l'esatto numero di punti elenco.
• Proibire l'aggiunta o la modifica di dettagli educativi.
• Prevenire la creazione di nuove aziende o l'uso di segnaposto.
• Garantire che le metriche rimangano realistiche per il periodo considerato.

Livello 5: Gate di QA dell'Agente Valutatore

Un'istanza indipendente di LLM agisce come un agente di controllo qualità avversario. Riceve il curriculum originale, la versione riscritta e la descrizione del lavoro target. Restituisce una decisione di accettazione binaria e un feedback. Se l'evalluatore rifiuta l'output, il feedback viene iniettato nel successivo tentativo di riscrittura. Se l'evalluatore fallisce (timeout/output malformato), il sistema opta per il rifiuto predefinito per evitare l'accettazione silenziosa di allucinazioni.

Meccanismo di Fallback

Se la validazione fallisce dopo tre cicli di tentativi, il sistema impiega un meccanismo di fusione-fallback deterministico che combina il miglior output dell'LLM con il contenuto originale preservato per garantire che nessun dato originale vada perduto.

3. Contributi Chiave

1. Tassonomia delle Allucinazioni: Una classificazione di quattro modalità specifiche di allucinazione (Temporale, Cross-Domain, Strutturale, Contenuto) uniche per l'ottimizzazione di documenti personali.
2. Framework a Cinque Livelli: Un sistema multi-agente funzionale che combina validazione deterministica, prompt engineering e controllo avversario.
3. Rilevatore di Contaminazione Deterministico: Uno strumento basato su regex che copre 257 servizi cloud con punteggio di confidenza a due livelli, progettato per evitare l'introduzione di una seconda superficie di allucinazione dell'LLM.
4. Studio di Ablazione e Sensibilità: Un'valutazione su 16 condizioni sperimentali (3 LLM, 4 temperature, 6 configurazioni di livello, 680 invocazioni di LLM) che caratterizza il contributo di ogni livello.

4. Risultati Sperimentali

Il framework è stato valutato su 25 curricula sintetici che spaziano in 14 settori e 42 ruoli.

• Performance del Baseline: I baseline non difesi hanno prodotto tra 2.48 e 5.36 allucinazioni rilevate per curriculum, con la Contaminazione Cross-Domain (H2) che rappresenta la modalità di fallimento dominante (79–89% degli incidenti).
• Studio di Ablazione (GPT-4.1-nano, t=0):
  • Solo il Radicamento a Livello di Prompt (L4): Ha ottenuto 0.00 allucinazioni rilevate in questa specifica configurazione.
  • Framework Completo: Ha ottenuto un tasso di 0.12 (0.04 escludendo i probabili falsi positivi in H4).
  • Lo studio ha notato che le prestazioni del solo L4 non si generalizzano a modelli più deboli o temperature più alte.
• Generalizzazione Multi-Modello:
  • Modelli meno capaci (GPT-4o-mini, Llama-3.1-8B) hanno prodotto da 2 a 4 volte più allucinazioni baseline.
  • Il Full framework ha ridotto i tassi di allucinazione rilevata del 95.2% – 99.3% in tutti i modelli testati.
• Sensibilità alla Temperatura:
  • All'aumentare della temperatura da 0.0 a 1.0, il tasso residuo di allucinazione sotto il Full framework è aumentato da 0.12 a 0.24.
  • Questo aumento è stato guidato quasi interamente dai residui Temporali (H1), suggerendo che la conformità al prompt si indebolisce con una maggiore stocasticità, rendendo necessari i livelli deterministici (L1–L3) come complemento piuttosto che come sostituzione del radicamento tramite prompt.

5. Significato e Limitazioni

Significato:
Il documento sostiene che, sebbene il prompt engineering sia efficace in condizioni ideali (modelli forti, bassa temperatura), esso è insufficiente per sistemi di produzione robusti. I livelli deterministici (L1–L3) forniscono un valore critico proprio dove la conformità al prompt è più debole (alta temperatura, modelli più deboli). Il lavoro caratterizza le modalità di fallimento specifiche dell'ottimizzazione dei documenti personali e fornisce un approccio sistematico e a più livelli per mitigarle senza fare affidamento esclusivamente su basi di conoscenza esterne.

Limitazioni:
Gli autori notano esplicitamente alcune restrizioni:

• Accoppiamento Detector-Difesa per H2: Il detector H2 e la difesa del Livello 2 condividono la stessa funzione sottostante. Di conseguenza, i conteggi H2 nelle configurazioni in cui il Livello 2 è attivo sono meccanicamente zero per costruzione e non possono essere interpretati come misurazioni empiriche indipendenti dell'eliminazione.
• Dataset: La valutazione si basa su 25 curricula sintetici e una tassonomia di 257 servizi, che potrebbe mancare distribuzioni del mondo reale e piattaforme a coda lunga (ad esempio, Salesforce, SAP).
• Ambito del Detector: I detector sono specifici per il compito e non confrontano i dati contro benchmark di allucinazione generali come SelfCheckGPT o FActScore.
• Magnitudo: Il framework rileva la presenza delle allucinazioni ma non necessariamente la loro magnitudo di fabbricazione.

Gli autori concludono che il lavoro futuro dovrebbe dare priorità a un valutatore basato su NLI indipendente per la contaminazione cross-domain e all'annotazione umana su curricula reali.