Riepilogo Tecnico: Tenure – Stato di Credenza Strutturato nella Memoria degli LLM

1. Il Problema: La Tassa di Riorientamento e il Fallimento dell'Astrazione della Ricerca

Il documento identifica un'inefficienza fondamentale nei flussi di lavoro attuali dei Modelli Linguistici su Grande Scala (LLM): la tassa di riorientamento. Ogni nuova sessione LLM inizia con una finestra di contesto vuota, costringendo gli utenti a ristabilire preferenze, vincoli tecnici e decisioni di progetto (ad esempio, "TypeScript con modalità strict", "driver MongoDB raw") in ogni interazione. Senza questo contesto, i modelli generano con sicurezza output errati, richiedendo prompt correttivi che moltiplicano il sovraccarico.

La risposta dominante del settore è stata la Memoria Aumentata per Recupero (RAM): memorizzare la cronologia delle conversazioni, incorporarla e recuperare frammenti semanticamente simili tramite ricerca vettoriale (ad esempio, similarità del coseno). Gli autori sostengono che questa sia l'astrazione sbagliata per tre motivi:

1. La memoria è un problema di stato, non di ricerca: Le preferenze e le decisioni sono vincoli strutturali attivi, non fatti passivi da recuperare solo quando una query corrisponde. Il recupero introduce condizionalità non necessaria dove è richiesta una garanzia strutturale.
2. La ricerca per similarità fallisce in contesti a vocabolario limitato: In ambienti a singolo utente o team convergenti, tutte le credenze su un specifico dominio tecnico (ad esempio, l'infrastruttura) sono semanticamente vicine. La ricerca vettoriale non riesce a discriminare tra una query su "Redis" e credenze su "MongoDB" o "Kubernetes" perché occupano la stessa regione semantica (punteggi del coseno 0,65–0,83). Ciò porta a un alto richiamo ma a una precisione catastrofica.
3. Rotazione del Contesto: I sistemi privi di gestione esplicita dello stato accumulano fatti obsoleti, superati o contraddittori. Senza un meccanismo di superamento, i sistemi di memoria finiscono per produrre risposte sicure basate su contesti datati.

2. Metodologia: L'Architettura Tenure

Tenure è proposto come un proxy "local-first" che tratta la memoria come uno stato di credenza tipizzato piuttosto che come un indice di ricerca. Opera su un paradigma di recupero "precisione prima", sostituendo la similarità semantica con l'estrazione strutturata e la corrispondenza di termini ponderata per alias.

2.1 Lo Schema di Credenza

L'unità atomica della memoria è la Credenza, una tupla di 14 campi derivata dall'architettura Credenza-Desiderio-Intenzione (BDI) ma delimitata allo stato persistente. I componenti chiave includono:

• Tipi: preferenza, decisione, entità, domanda aperta, relazione.
• Stato Epistemico: attivo, inferito, esplorativo, superato. Fondamentalmente, le credenze superate sono conservate per audit ma mai iniettate, prevenendo la rotazione del contesto.
• Ambito: Etichette di isolamento rigido (ad esempio, utente:universale, dominio:codice, progetto:<slug>) che agiscono come filtri strutturali, non come pesi probabilistici.
• Il Campo "Perché è Importante": Un'istruzione imperativa che converte un fatto in un'azione (ad esempio, "Modella tutti gli esempi di codice verso TypeScript..."). Questo campo viene generato al momento della scrittura quando il modello ha il contesto completo, fornendo un'"inferenza cristallizzata" piuttosto che materiale grezzo da rielaborare per il modello.

2.2 Recupero Basato sulla Precisione (BM25 sui Vettori)

Tenure rifiuta la similarità degli embedding per il percorso di lettura. Utilizza invece BM25 con potenziamento ponderato per alias su un archivio di credenze dove gli alias sono scritti per corrispondere alle superfici di query attese.

• Asimmetria Indicizzazione-Ricerca: Il sistema sfrutta il problema inverso del recupero (query lunghe vs documenti brevi e strutturati). Utilizza analizzatori personalizzati per mappare nomi canonici in snake_case (ad esempio, redis_cache) in forme tokenizzate e applica la generazione di shingle per la corrispondenza di frasi.
• Volano di Arricchimento degli Alias: Il sistema indicizza continuamente nuove forme superficiali (alias) osservate nelle query degli utenti, aumentando la precisione nel tempo.
• Proprietà del Segnale Contrario: Gli alias includono termini per tecnologie rifiutate (ad esempio, express nella lista degli alias di una credenza fastify), permettendo al sistema di far emergere la preferenza attiva quando un utente interroga un'alternativa rifiutata.

2.3 Estrazione e Compattazione

• Estrazione al Momento della Scrittura: Le credenze vengono estratte in modo asincrono tramite un blocco sidecar. Un cancello a livelli garantisce che solo i modelli con alta affidabilità nell'output strutturato eseguano l'estrazione.
• Compattazione: Per prevenire l'accumulo di rumore, il sistema unisce credenze sovrapposte, elimina le preferenze duplicate e sintetizza i livelli di competenza. Ciò previene la modalità di fallimento "accumulo di allucinazioni" osservata nei sistemi di memoria non strutturati.
• Isolamento dell'Ambito: Un filtro rigido post-ricerca garantisce che le credenze provenienti da ambiti non autorizzati (ad esempio, progetto:cliente-b quando si è in progetto:cliente-a) non vengano mai recuperate, indipendentemente dalla similarità semantica.

3. Contributi Chiave

1. Schema Formale di Credenza: Uno schema tipizzato con stato epistemico, superamento versionato e istruzioni imperative "perché è importante".
2. Progettazione di Recupero Basata sulla Precisione: Una dimostrazione empirica che BM25 ponderato per alias supera la ricerca vettoriale densa in contesti a vocabolario limitato.
3. Architettura di Compattazione: Meccanismi per l'arricchimento degli alias, l'indicizzazione del segnale contrario e la fusione delle credenze per prevenire l'accumulo del livello di rumore.
4. Suite di Valutazione su 72 Casi: Un benchmark riutilizzabile che copre la risoluzione degli alias, la disambiguazione dell'ambito, le catene di superamento e la deriva tematica multi-turno.

4. Risultati

Il documento presenta una valutazione controllata su 72 casi di recupero (60 statici, 12 a livello di sessione) confrontando il backend BM25 di Tenure con un backend vettoriale standard (nomic-embed-text, 768-dim).

• Precisione di Recupero Statico:

  • BM25: 72/72 casi superati (Precisione Media: 1,0).
  • Ricerca Vettoriale: 8/72 casi superati (Precisione Media: 0,12).
  • Osservazione: La ricerca vettoriale ha recuperato la credenza corretta ma è stata accompagnata da 8-9 credenze di rumore da domini semanticamente adiacenti (ad esempio, recuperare credenze su MongoDB quando si interroga Redis).

• Deriva Tematica Multi-Turno (Valutazione della Sessione):

  • Sotto accumulo multi-turno con deriva tematica (ad esempio, passaggio da Redis a Kubernetes/React), il punteggio di deriva del backend vettoriale (frazione di credenze di rumore recuperate) è salito a 0,43–0,50.
  • BM25 ha mantenuto un punteggio di deriva di 0,0 su tutti i turni, isolando con successo la query di rientro dal rumore accumulato della sessione.

• Ambito e Superamento:

  • BM25 ha applicato correttamente l'isolamento rigido dell'ambito e le catene di superamento (ad esempio, filtrando TSLint quando ESLint e Biome erano attivi), mentre la ricerca vettoriale non è riuscita a discriminare in base a questi vincoli strutturali.

5. Significato e Affermazioni

Il documento sostiene che la memoria degli LLM tra sessioni è un problema di gestione dello stato, non di ricerca.

• Garanzia Strutturale vs. Recupero Probabilistico: Tenure fornisce una garanzia strutturale che "le credenze giuste emergono, e solo entro i confini autorizzati dall'utente". Ciò contrasta con i sistemi basati sulla ricerca in cui il modello deve discriminare la rilevanza al momento della generazione, reintroducendo il sovraccarico cognitivo che il sistema mira a eliminare.
• Inferenza Azionabile: Convertendo i fatti in istruzioni imperative ("perché è importante") al momento della scrittura, Tenure garantisce che il modello riceva un'"inferenza cristallizzata" piuttosto che trascrizioni grezze che richiedono una rielaborazione.
• Ambito Modesto: Gli autori affermano esplicitamente che la precisione del recupero è una precondizione necessaria per la qualità della risposta, non una condizione sufficiente. La tassa di riorientamento è un'affermazione osservativa; il documento stabilisce che Tenure risolve il divario di precisione necessario per rendere praticabile l'iniezione di contesto, lasciando la misurazione della qualità finale della risposta come una domanda aperta.
• Applicabilità: Sebbene dimostrato su un corpus a singolo utente, si afferma che l'architettura si estenda ai team di ingegneria dove codebase e manuali operativi condivisi creano un "vocabolario convergente", soddisfacendo le stesse condizioni strutturali per la precisione ponderata per alias.

Il documento conclude che Tenure offre una risposta coerente alla tassa di riorientamento attraverso uno schema che rende lo stato di credenza auditabile, un design di recupero che garantisce la precisione e un'architettura di compattazione che mantiene l'integrità dell'archivio nel tempo.