Riepilogo Tecnico: QA Selettiva su Memoria Personale Multi-Sorgente in Conflitto

1. Definizione del Problema

I nuovi agenti AI personali stanno evolvendo verso architetture di memoria persistenti e multi-sorgente che aggregano dati da profili a lungo termine, registri recenti, piani, auto-rapporti e registri di dispositivi. Esiste un divario critico nella valutazione: questi sistemi devono risolvere prove conflittuali o incomplete provenienti da fonti eterogenee, anziché recuperare fatti da un'unica storia pulita. I benchmark esistenti spesso non riescono a distinguere se gli errori derivino dall'estrazione iniziale delle prove o dalla successiva fase di risoluzione dei conflitti. Inoltre, i sistemi attuali raramente supportano la "QA selettiva", in cui un agente può astenersi dal rispondere quando le prove sono insufficienti o conflittuali in modo irrisolvibile, una capacità essenziale per un deployment affidabile.

Il documento formalizza questa sfida come QA Selettiva su Memoria Personale Multi-Sorgente in Conflitto. Il compito centrale richiede a un sistema di rispondere a domande a classe chiusa basandosi su cinque flussi di prove parziali e potenzialmente conflittuali, oppure di astenersi (SKIP) quando le prove non supportano una risposta sicura.

2. Metodologia e Progettazione del Benchmark

Il Campo di Prova Diagnostico

Gli autori introducono un campo di prova diagnostico sintetico progettato per isolare specifici modi di fallimento nella risoluzione dei conflitti:

• Scala e Struttura: Il dataset comprende 34.560 istanze generate da 480 persone su 4 semi casuali. Include 18 template di domande che coprono 8 tipi di ragionamento (ad es. Arbitrato delle Fonti, Piano vs Realtà, Prove Mancanti) su cinque domini (Lavoro, Dieta, Sociale, Sonno, Esercizio).
• Processo di Generazione Dati (DGP): Il DGP opera come un Grafo Aciclico Diretto (DAG) per garantire una verità fondamentale (GT) deterministica:
  1. Eventi Latenti (L2): Viene generato un registro di 30 giorni del comportamento effettivo dell'utente.
  2. Proiezione Sorgente (L3): Gli eventi latenti sono proiettati in cinque flussi sorgente distinti (Profilo, Pianificatore, Auto-rapporto, Registro Oggettivo, Registro Dispositivo), ciascuno con modelli di distorsione specifici e apprendibili (ad es. i pianificatori sono ottimisti, gli auto-rapporti sono socialmente desiderabili, i registri dei dispositivi presentano dati mancanti).
  3. Rendering in Linguaggio Naturale (NL): Le proiezioni strutturate sono rese in documenti di memoria in linguaggio naturale.
  4. Estrazione: Un LLM (GPT-5.4) estrae "atomi" strutturati (valori a classe chiusa) dal testo NL.
• Verità Fondamentale: Le etichette sono calcolate in modo deterministico dalla tabella degli eventi latenti e da annotazioni specifiche delle sorgenti, garantendo l'assenza di dipendenze circolari rispetto al processo di estrazione.
• Protocollo di Valutazione: Il benchmark separa l'estrazione (conversione da NL ad atomi) dalla risoluzione (mappatura degli atomi alle risposte). Ciò consente una scomposizione fattoriale delle prestazioni tra la qualità dell'input (atomi estratti vs lettura strutturata diretta) e la logica del risolutore.

Metodi Valutati

Lo studio valuta quattro livelli di metodi:

• T0 (Senza Sorgente): Baseline casuali e di classe maggioritaria.
• T1 (Selezione Sorgente): Selezione della singola migliore sorgente per domanda (SSB).
• T2 (Fusione Strutturata): Metodi che apprendono mappature sorgente-GT:
  • Voto di Maggioranza / Stile ArgRAG: Aggregazione semplice.
  • Fusione Corretta per Bias (BCF): Applica prior ordinali di bias specificati a mano.
  • Fusione Naive Bayes (NBF): Apprende matrici di confusione per sorgente dalle etichette di training.
  • NBF Stratificato per Difficoltà (DSNBF): Apprende matrici di confusione stratificate per classi di difficoltà delle persone, inferendo la difficoltà delle persone di test dai loro pattern di atomi.
  • Fusione Abductiva per Bias (ABF): Utilizza un kernel a miscela morbida che fonde percorsi consapevoli del bias e privi di bias.
• T3 (LLM End-to-End): Modelli all'avanguardia (GPT-5.4, Gemini 3.1 Pro, DeepSeek V3.2, Qwen3-235B) che leggono direttamente la memoria NL grezza, con e senza prompt "Consapevoli dello Schema" che iniettano descrizioni qualitative del bias.
• Riferimento: Raggiungibilità della Sorgente (un controllo assistito da GT che verifica se la GT è direttamente visibile in una qualsiasi sorgente).

Tutti i metodi supportano varianti di QA Selettiva che si astengono (SKIP) basandosi su soglie calibrate (per i metodi di fusione) o flag auto-dichiarati (per gli LLM).

3. Risultati Chiave

Accuratezza e Risoluzione

• Fusione vs Prompting: Il miglior risolutore di fusione addestrato (DSNBF) raggiunge un'80,3% di accuratezza macro sugli atomi estratti, superando la baseline LLM più forte basata solo su prompt (GPT-5.4 Consapevole dello Schema) di 10,3 punti percentuali (70,0%).
• Qualità dell'Input: Quando forniti con atomi di lettura strutturata diretta ($\mu^*$) invece di atomi estratti ($\hat{\mu}$), DSNBF migliora all'82,3%, mentre GPT-5.4 migliora al 73,5%. Il divario rimane significativo (8,8 pp), indicando che la capacità del risolutore di modellare l'affidabilità della sorgente è il principale motore delle prestazioni, non solo la qualità dell'estrazione dell'input.
• Selezione Sorgente: L'aggregazione ingenua (Voto di Maggioranza) performa male (~69%) perché le fonti parziali possono superare in numero quelle accurate. La selezione a sorgente singola (SSB) performa meglio (77,3%) ma è superata dai metodi di fusione appresi.

QA Selettiva (Astensione)

• Metodi di Fusione: DSNBF con astensione selettiva raggiunge un'85,3% di accuratezza selettiva al 78,3% di copertura. Ciò indica che il metodo identifica e salta con successo i casi difficili in cui le prove sono insufficienti.
• LLM: Gli LLM all'avanguardia mostrano una capacità limitata di astenersi efficacemente. GPT-5.4 raggiunge il 71,0% di accuratezza selettiva al 95,4% di copertura, e altri modelli (Gemini, DeepSeek, Qwen) si astengono in meno del 2% delle istanze, non riuscendo a sfruttare l'astensione per migliorare l'accuratezza.

Approfondimenti Diagnostici

• Tipi di Ragionamento: DSNBF è leader in 7 dei 8 tipi di ragionamento. I divari più grandi appaiono nell'Arbitrato (+19,0 pp) e nell'Attribuzione dei Fattori (+12,5 pp), dove l'apprendimento di matrici di confusione per sorgente è critico.
• Classi di Difficoltà: Le prestazioni degradano sulle persone "stated_vs_revealed" (dove le preferenze dichiarate contraddicono il comportamento rivelato). I metodi di fusione mostrano robustezza (DSNBF scende di soli 5 pp), mentre gli LLM con prompt di schema subiscono una degradazione significativa (13 pp), suggerendo che gli indizi qualitativi sul bias sono insufficienti per la risoluzione complessa dei conflitti.
• Robustezza: I risultati sono stabili tra i semi casuali, le dimensioni di training (saturando a ~100 persone) e le perturbazioni del DGP (scale di bias e dropout).

4. Contributi

1. Formalizzazione del Compito: Definisce la QA selettiva consapevole del bias su memoria personale multi-sorgente, modellando esplicitamente le distorsioni direzionali delle sorgenti e l'opzione di astenersi.
2. Campo di Prova Diagnostico: Rilascia un benchmark sintetico (34.560 istanze) con un DGP documentato, separando l'estrazione dalla risoluzione per consentire un'analisi controllata dei modi di fallimento.
3. Valutazione Diagnostica: Dimostra che i modelli di sorgente appresi (matrici di confusione) e l'astensione calibrata superano significativamente gli LLM basati solo su prompt e l'aggregazione ingenua, rivelando che la risoluzione dei conflitti è una capacità distinta dall'estrazione delle informazioni.

5. Significato e Limitazioni

Il documento sostiene che affinché gli agenti AI personali siano affidabili, la gestione dei conflitti e la capacità di astenersi devono essere rese esplicite prima del deployment. La separazione tra estrazione e risoluzione permette agli sviluppatori di localizzare i fallimenti: se un sistema fallisce perché non può leggere la memoria, non può estrarre fatti o non può pesare prove conflittuali.

Limitazioni:

• Natura Sintetica: I dati sono sintetici con distorsioni monotone e dipendenti dal tema. I dati del mondo reale potrebbero coinvolgere cambiamenti abitudinari non monotoni, rapporti avversari o guasti complessi dei sensori non catturati qui.
• Numero di Template: I 18 template di domande limitano il potere statistico all'interno di specifici tipi di ragionamento, sebbene il DGP supporti l'espansione.
• Requisito di Training: I metodi più forti (DSNBF, NBF) richiedono persone di training etichettate. Gli autori avvertono che questi risultati non dovrebbero essere interpretati come rivendicazioni per un deployment zero-shot più economico, ma piuttosto come una baseline diagnostica per ciò che è raggiungibile con la supervisione.

Il lavoro conclude che, sebbene gli LLM all'avanguardia possano estrarre fatti, attualmente faticano con il compito specifico di risolvere conflitti sistematici multi-sorgente senza un training esplicito sui pattern di affidabilità delle sorgenti. Il codice e i dati rilasciati mirano a facilitare ulteriori ricerche su agenti di memoria personale affidabili.