Rule Extraction in Machine Learning: Chat Incremental Pattern Constructor

Questo articolo presenta Chat Incremental Pattern Constructor (ChatIPC), un sistema simbolico incrementale che estrae regole leggibili dall'analisi dei grafi di token per generare risposte interpretabili, fornendo una formalizzazione matematica e pseudocodice del processo.

L'essenziale

Immagina di voler insegnare a un robot a scrivere o a conversare, ma con una regola ferrea: non deve mai usare una "scatola nera". Non vuoi che il robot impari in modo misterioso e incomprensibile (come fanno le moderne intelligenze artificiali complesse); vuoi che ogni sua parola sia tracciabile, logica e spiegabile.

È esattamente questo il cuore del paper su ChatIPC (Chat Incremental Pattern Constructor), scritto da Caleb Princewill Nwokocha. Ecco una spiegazione semplice, usando metafore di tutti i giorni.

1. L'idea di base: Il "Gioco delle Catene"

Immagina di avere un mucchio di mattoncini LEGO. Invece di costruire una statua complessa e misteriosa, ChatIPC guarda solo come i mattoncini si attaccano l'uno all'altro.

• Se vedi la frase "Il gatto corre", il sistema impara una regola semplice: dopo "gatto" può seguire "corre".
• Se leggi "Il gatto dorme", impara un'altra regola: dopo "gatto" può seguire "dorme".

ChatIPC non "capisce" cosa sia un gatto o cosa significhi correre. Si limita a costruire una mappa delle connessioni. È come se avesse un quaderno dove scrive: "Quando vedo la parola A, ho visto spesso la parola B dopo di essa". Questa è la sua "regola".

2. Come impara: Il Diario in Tempo Reale

Molti sistemi di intelligenza artificiale studiano milioni di libri tutti insieme prima di iniziare a parlare (come uno studente che ripassa tutto l'anno prima dell'esame).
ChatIPC, invece, è come un turista che scrive un diario giorno per giorno.

• Ogni volta che leggi una nuova frase, ChatIPC aggiorna immediatamente il suo quaderno.
• Se leggi "Il sole splende", aggiunge subito questa regola al suo elenco.
• Non ha bisogno di ricalcolare tutto da capo; si costruisce passo dopo passo, parola per parola.

3. Il trucco intelligente: Il "Dizionario Magico"

Qui arriva la parte più creativa. Se ChatIPC vede solo le parole che ha già letto, potrebbe diventare molto ripetitivo o stupido. Per evitarlo, usa un dizionario magico.

Immagina che ogni parola nel quaderno di ChatIPC abbia un'etichetta con scritto il suo significato.

• Se ChatIPC vede la parola "Mela", non si ferma lì. Apre il dizionario, legge la definizione ("frutto rosso, dolce, cresce sugli alberi") e aggiunge queste parole al suo contesto.
• Ora, quando deve scegliere la parola successiva, non guarda solo "Mela", ma guarda anche "frutto", "rosso", "albero".

È come se, mentre parli, il tuo cervello facesse un'associazione mentale rapida: "Ho detto mela... ah, le mele sono rosse... forse posso dire 'rossa' dopo". Questo rende le risposte più ricche e meno meccaniche.

4. Come sceglie la parola successiva: Il "Giudice Equo"

Quando ChatIPC deve rispondere a una domanda, ha diverse opzioni (parole possibili). Come decide quale scegliere? Usa due criteri semplici:

1. La Somiglianza (Il "Cercapersone"): Guarda tutte le parole che ha già usato nella conversazione (e le loro definizioni magiche) e chiede: "Quale tra le parole disponibili si 'intona' meglio con tutto il resto?". Usa una formula matematica chiamata similitudine di Jaccard, che è come contare quanti pezzi di un puzzle combaciano. Più pezzi combaciano, più la parola è una buona scelta.
2. La Regola "Non Ripeterti" (Il "No-Loop"): Se ChatIPC ha già usato la parola "ciao" tre volte di fila, il sistema gli dà una "sberla" (una penalità) e lo costringe a scegliere qualcos'altro. È come quando un amico ti dice: "Basta, hai detto la stessa battuta tre volte!".

5. Perché è speciale? La "Trasparenza Totale"

La cosa più bella di ChatIPC è che non c'è nulla di nascosto.

• Se chiedi: "Perché hai scelto la parola 'sole'?", ChatIPC può dirti esattamente: "Perché hai detto 'cielo', e nel mio quaderno 'cielo' è spesso seguito da 'sole', e poi ho controllato il dizionario e 'cielo' è associato a 'azzurro', e 'sole' si abbina bene con 'azzurro'".
• Non devi fidarti di un algoritmo misterioso. Puoi leggere il quaderno, vedere le regole e capire esattamente come ha funzionato il ragionamento.

In sintesi

ChatIPC è come un costruttore di storie molto ordinato e onesto.
Non è un genio creativo che inventa concetti profondi dal nulla. È un sistema che:

1. Osserva come le parole si susseguono.
2. Arricchisce il pensiero guardando i significati nel dizionario.
3. Sceglie la parola successiva basandosi su quanto "combacia" con il contesto e quanto è originale (senza ripetere troppo).

È un approccio "vecchia scuola" ma intelligente: invece di cercare di imitare l'umano in modo complesso e incomprensibile, costruisce un linguaggio semplice, trasparente e controllabile, parola per parola. È perfetto per situazioni in cui è fondamentale sapere esattamente come e perché una macchina ha preso una decisione.

Sommario tecnico

Titolo: Estrazione di Regole nell'Apprendimento Automatico: Chat Incremental Pattern Constructor (ChatIPC)

Autore: Caleb Princewill Nwokocha
Data: 19 Marzo 2026

---

1. Il Problema

L'estrazione di regole (Rule Extraction) è un problema centrale nell'apprendimento automatico interpretabile. Tradizionalmente, questo campo si concentra sulla trasformazione di modelli "opachi" (come le reti neurali profonde o i modelli a scatola nera) in strutture simboliche leggibili dall'uomo (es. regole if-then).
L'obiettivo è rendere il comportamento del modello auditabile, facilitare il debugging, supportare la conformità normativa e migliorare la fiducia negli sistemi predittivi. Tuttavia, i metodi esistenti spesso richiedono procedure post-hoc per distillare regole da modelli già addestrati, il che può essere computazionalmente costoso e approssimativo.

Il paper introduce un approccio alternativo: invece di estrarre regole da un modello numerico latente, ChatIPC costruisce le regole direttamente e incrementalmente dai dati testuali stessi, operando come un sistema di apprendimento simbolico puro.

2. Metodologia: Chat Incremental Pattern Constructor (ChatIPC)

ChatIPC è un sistema di apprendimento simbolico incrementale e leggero che estrae regole di transizione tra token da sequenze di testo e le utilizza per costruire risposte in modo incrementale. Il sistema non apprende parametri continui, ma accumula un grafo di conoscenza basato su transizioni simboliche.

Il sistema si articola su tre livelli concettuali principali:

A. Estrazione delle Transizioni (Knowledge Representation)

• Grafo delle Transizioni: Il sistema mantiene una relazione diretta $E \subseteq \Sigma \times \Sigma$, dove ogni coppia $(u, v)$ rappresenta l'osservazione che il token $v$ segue il token $u$.
• Apprendimento Online: Ogni nuova sequenza di input aggiorna il grafo aggiungendo nuovi archi. La conoscenza è rappresentata come un grafo diretto $G_t = (V_t, E_t)$.
• Interning delle Stringhe: Per efficienza, i token identici condividono lo stesso puntatore di memoria, garantendo l'identità canonica e riducendo l'uso di memoria.

B. Espansione per Definizione (Definition Expansion)

Una caratteristica distintiva è l'arricchimento semantico dei token tramite dizionari esterni.

• Per ogni token $w$, il sistema recupera la sua definizione dal dizionario e tokenizza il testo della definizione.
• Questo processo è ricorsivo fino a una profondità $d$ fissata, creando un insieme di espansione semantica $D^{(d)}(w)$.
• Questo meccanismo funge da "feature augmentation" simbolica, collegando un token non solo alle sue transizioni dirette, ma anche a un vicinato semantico derivato dalle definizioni lessicali.

C. Costruzione Guidata dalla Similarità (Candidate Scoring)

Quando il sistema genera una risposta, seleziona il prossimo token basandosi su una metrica di similarità:

1. Contesto Aggregato ($A$): Unione dei token del prompt, dei token già generati e delle loro rispettive espansioni semantiche.
2. Candidati ($B$): Per ogni token candidato $c$, si considera l'insieme $\{c\} \cup D^{(d)}(c)$.
3. Punteggio Jaccard: La similarità tra il contesto e il candidato è calcolata tramite l'indice di Jaccard:
   $$J(A, B) = \frac{|A \cap B|}{|A \cup B|}$$
4. Penalità di Ripetizione: Per evitare cicli locali e ripetizioni, il punteggio viene ridotto in base alla frequenza recente del token nella risposta corrente:
   $$\tilde{s}(c) = s(c) - \lambda \cdot n_R(c)$$
   dove $\lambda$ è un parametro di penalità.
5. Selezione: Il token con il punteggio $\tilde{s}(c)$ più alto viene selezionato (con ordinamento lessicografico in caso di parità).

3. Contributi Chiave

1. Formalizzazione Matematica: Il paper definisce rigorosamente la base di conoscenza, l'espansione per definizione, la valutazione dei candidati e i meccanismi di controllo delle ripetizioni.
2. Algoritmi Pseudocodice: Vengono forniti pseudocodici dettagliati per:
   • L'espansione ricorsiva delle definizioni (BFS).
   • La selezione del token migliore basata sulla similarità.
   • La costruzione incrementale della risposta.
   • L'aggiornamento della base di regole dal flusso di token.
3. Approccio Incrementale vs. Batch: ChatIPC non costruisce una teoria simbolica globale in un'unica passata, ma aggiorna dinamicamente il grafo man mano che i dati arrivano, allineandosi ai principi dell'apprendimento online.
4. Interpretabilità End-to-End: Ogni token generato può essere tracciato fino a una transizione esplicita salvata e a un confronto di similarità calcolato, rendendo il processo completamente ispezionabile.

4. Risultati e Complessità

• Complessità Temporale:
  • L'inserimento delle regole (apprendimento) è lineare rispetto alla lunghezza della sequenza: $O(n)$.
  • L'espansione delle definizioni è approssimativamente $O(b^d)$, dove $b$ è la larghezza media del dizionario e $d$ la profondità, ma ridotta dalla deduplicazione.
  • La valutazione dei candidati è quasi lineare rispetto alla dimensione dell'insieme dei candidati e alla complessità delle operazioni sugli insiemi (hash-based).
• Implementazione: Il sistema è stato implementato in C++ con interning delle stringhe e snapshot thread-safe, ottimizzato per l'efficienza nella ricerca e nell'aggiornamento del grafo.
• Limiti: Il sistema si basa su regole di adiacenza locale e non inferisce significati latenti complessi oltre l'espansione lessicale. La strategia greedy può portare a cicli se la base di conoscenza è sparsa o ripetitiva.

5. Significato e Posizionamento nella Letteratura

ChatIPC si distingue dai metodi classici di estrazione delle regole (che spesso decompongono reti neurali o usano alberi decisionali) perché non parte da un modello numerico opaco.

• Confronto con l'Apprendimento Associativo: È un analogo sequenziale delle regole associative, dove la relazione è ordinata temporalmente ($x_i \to x_{i+1}$) piuttosto che basata sulla co-occorrenza non ordinata.
• Confronto con i Modelli Linguistici Statistici: A differenza dei modelli che massimizzano probabilità condizionate apprese, ChatIPC usa una similarità simbolica. Questo lo rende meno espressivo dei grandi modelli neurali, ma molto più trasparente e verificabile.
• Impatto: Il lavoro dimostra che l'estrazione delle regole può essere un processo di costruzione simbolica online. È particolarmente rilevante in scenari dove la trasparenza, la riproducibilità e il basso overhead computazionale sono prioritari rispetto alla massima potenza predittiva.

In sintesi, ChatIPC offre un framework matematicamente semplice e implementabile che trasforma il flusso di testo in una macchina a stati simbolici interpretabile, ponendo le basi per sistemi di IA che sono intrinsecamente comprensibili dall'uomo.