🤖 machine learning

Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

Questo articolo propone un modello predittivo data-agnostic e interpretabile per progettazione che seleziona gerarchicamente istanze pivot rappresentative (inclusi coppie ed ensemble) utilizzando alberi di prossimità e reti pre-addestrate per ottenere prestazioni competitive attraverso diverse modalità di dati mantenendo al contempo un'alta interpretabilità.

Autori originali: Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come riconoscere un gatto. Potresti provare a scrivere un enorme libro di regole: "Se ha orecchie appuntite, una coda e i baffi, è un gatto". Ma cosa succede se il robot vede un gatto senza pelo, o un gatto che dorme in una posizione strana? Le regole saltano. Questo è il problema di molti sistemi di IA "black box" moderni: sono incredibilmente bravi a indovinare, ma non possono spiegare perché hanno fatto una supposizione. Si limitano a elaborare numeri in un modo che gli esseri umani non possono seguire.

D'altro canto, gli esseri umani imparano per esempi. Non memorizziamo un libro di regole per ogni animale; ricordiamo casi specifici. "Quella cosa pelosa con la coda lunga è un gatto", oppure "Quello animale grande e striato è una tigre". Confrontiamo le nuove cose con questi scatti mentali. Questo è chiamato "ragionamento basato su casi" (case-based reasoning). La grande domanda nel mondo dell'Intelligenza Artificiale è: possiamo costruire una macchina che pensi come noi? Possiamo creare un modello che non dia solo una risposta, ma che indichi alcuni esempi specifici e dica: "Penso che questo sia un gatto perché assomiglia proprio a questa foto che ho visto prima"? Se ci riusciamo, otteniamo un'IA che non è solo intelligente, ma anche trasparente e affidabile, permettendoci di sbirciare sotto il cofano per vederne la logica.

È esattamente ciò che i ricercatori dietro il paper "PivotTree" si sono posti l'obiettivo di fare. Hanno costruito un nuovo tipo di modello di IA che agisce come un albero decisionale, ma invece di suddividere i dati in base a regole astratte come "se il pixel è rosso", li suddivide in base alla somiglianza con esempi reali. Pensa a un gioco di "20 domande" dove le domande non riguardano le caratteristiche, ma i confronti. "Questa nuova immagine assomiglia più a questo cane specifico o a quel gatto specifico?"

Il team, guidato da Alessio Cascione e colleghi, ha introdotto un metodo chiamato PivotTree. Immagina un albero dove ogni punto di diramazione non è una regola, ma un "pivot" — un esempio scelto accuratamente dai dati di addestramento. Quando arriva un nuovo dato (come una foto o una frase), il modello chiede: "A quale pivot assomiglia di più?". Instrada il dato lungo l'albero, confrontandolo con diversi esempi ad ogni passaggio, finché non raggiunge una risposta finale. La cosa interessante è che il modello non sceglie solo un esempio; può sceglierne una coppia e chiedere: "È più vicino al Pivot A o al Pivot B?". Questo crea una gerarchia di confronti che è facile da seguire per un essere umano.

I ricercatori non si sono fermati a un solo tipo di confronto. Hanno creato diverse "varianti" di PivotTree. Alcune utilizzano un singolo pivot per tracciare una linea (come "se assomiglia più a questo che a quella soglia, vai a sinistra"). Altre utilizzano due pivot per prendere una decisione di tipo "più vicino a" (come "è più vicino al cane o al gatto?"). Hanno persino combinato questi alberi in una "foresta" (una Random Pivot Forest) per rendere le previsioni ancora più forti, in modo simile a come una folla di esperti potrebbe votare su una decisione.

Per testare se la loro idea funzionasse davvero, non si sono limitati a semplici fogli di calcolo. Hanno lanciato il loro modello contro una sfida massiccia: 45 diversi dataset. Questi includevano tabelle standard di numeri, ma anche cose complicate come immagini (foto di gatti, cani e auto), testo (recensioni e articoli) e dati di serie temporali (come battiti cardiaci o movimenti delle mani). Hanno confrontato il loro PivotTree con altri famosi modelli di IA, inclusi i pesi massimi della "black box" e altri metodi interpretabili.

I risultati sono stati promettenti. I modelli PivotTree sono riusciti a essere altrettanto accurati dei modelli di IA più potenti e complessi esistenti, ma con un enorme vantaggio: erano molto più facili da comprendere. In molti casi, specialmente con immagini e testo, i modelli PivotTree hanno ottenuto prestazioni in linea o leggermente inferiori rispetto ai migliori competitor (come i modelli di boosting), ma spesso hanno eguagliato le prestazioni dei classici Random Forest utilizzando molti meno esempi (pivot) per prendere le loro decisioni. Ad esempio, su un dataset di lesioni orali (immagini mediche di ferite in bocca), il modello poteva diagnosticare problemi confrontando una nuova immagine con solo una manciata di esempi rappresentativi, spiegando il proprio ragionamento mostrando esattamente contro quali esempi stava effettuando il confronto.

Il paper suggerisce che questo approccio sia un superpotere "data-agnostic", il che significa che funziona su quasi ogni tipo di dato, purché sia possibile misurare quanto due cose siano simili tra loro. Sebbene i modelli abbiano talvolta richiesto un po' più di tempo per l'addestramento rispetto ai sistemi più semplici basati su regole, offrivano un punto di equilibrio ideale: alte prestazioni senza mistero. Gli autori concludono che, lasciando che l'IA ragioni attraverso gli esempi piuttosto che attraverso regole astratte, possiamo costruire sistemi che siano non solo potenti, ma anche abbastanza amichevoli da poter essere compresi dagli esseri umani. È un passo verso un'IA che non si limita a conoscere la risposta, ma può mostrarti le prove.

Sintesi Tecnica: Espansione dei Modelli di Selezione di Istanze Pivotal Data-Agnostic con Alberi di Prossimità e Apprendimento d'Insieme

Definizione del Problema
I modelli di apprendimento automatico sono diventati essenziali per i processi decisionali complessi in domini come la sanità e la finanza, eppure la loro natura di "scatola nera" spesso ne ostacola l'interpretabilità. Mentre gli esseri umani ragionano naturalmente confrontando nuovi casi con esempi rappresentativi (ragionamento basato su casi), molti modelli interpretabili esistenti si affidano a regole astratte basate sulle caratteristiche che non si allineano a questo processo cognitivo. Inoltre, gli attuali approcci basati sulle istanze spesso faticano con le modalità di dati in cui le caratteristiche mancano di un chiaro significato semantico (ad esempio, immagini, testo, serie temporali) o non riescono a bilanciare le prestazioni predittive con il numero di istanze rappresentative (pivot) necessarie per la spiegazione. Il documento affronta la necessità di un framework unificato e data-agnostic per selezionare istanze pivot di alta qualità al fine di costruire modelli predittivi interpretabili capaci di ragionare attraverso la similarità.

Metodologia
Gli autori propongono PivotTree, un modello gerarchico, interpretabile per progettazione, ispirato agli alberi decisionali ma basato sulla similarità rispetto a pivot selezionati piuttosto che su soglie di caratteristiche. La metodologia comprende tre componenti principali:

Selezione dei Pivot e Induzione dell'Albero:
PivotTree costruisce in modo greedy un albero decisionale in cui ogni nodo suddivide le istanze in base alla loro similarità rispetto a specifici "pivot" (istanze di addestramento rappresentative). L'algoritmo identifica due tipi di pivot ad ogni passaggio:
- Pivot Discriminativi: Istanze che massimizzano il guadagno di impurità quando si partiziona il set di dati in base alla similarità.
- Pivot Descrittivi: Istanze che massimizzano la similarità con altre istanze della stessa classe all'interno del nodo corrente.
  Il processo di induzione dell'albero codifica le istanze in uno spazio di similarità rispetto a questi pivot, permettendo al modello di funzionare sia come selettore di pivot che come modello predittivo autonomo.
Strategie di Suddivisione (Splitting):
Per migliorare l'espressività e l'adattabilità, PivotTree implementa tre distinti meccanismi di suddivisione:
- Suddivisione Univariata (pt): Utilizza un singolo pivot per nodo con una condizione di soglia ( $s(x, p_i) \geq \beta$ ).
- Suddivisione Obliqua (opt): Utilizza una combinazione lineare di similarità tra due pivot ( $\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$ ), consentendo confini decisionali più complessi.
- Suddivisione di Prossimità (ppt): Confronta direttamente la similarità di un'istanza con due pivot ( $s(x, p_i) > s(x, p_j)$ ), indirizzando l'istanza in base a quale pivot sia più vicina. Ciò offre un'interpretazione relativa, piuttosto che assoluta, della similarità.
Apprendimento d'Insieme (RandomPivotForest):
Gli autori estendono l'approccio ad albero singolo a un framework di ensemble, RandomPivotForest, che aggrega le predizioni da molteplici stimatori PivotTree utilizzando il voto di maggioranza. Per gestire la complessità, esplorano anche un approccio di "foresta di stump di suddivisione", in cui ensemble compatti di apprendisti deboli (stump) vengono estratti dalla foresta e utilizzati per il voto diretto o combinati con un classificatore di regressione logistica.
Data Agnosticism (Agnosticismo rispetto ai Dati):
Una caratteristica fondamentale della metodologia è il disaccoppiamento del calcolo della similarità dalla rappresentazione dell'oggetto. Sfruttando reti pre-addestrate (ad esempio, ResNet per le immagini, Sentence Transformers per il testo) per mappare i dati in uno spazio vettoriale latente ( $\mathbb{R}^m$ ), PivotTree può essere applicato uniformemente a dati tabulari, serie temporali, immagini e testo.

Contributi Chiave

Framework Unificato: Introduzione di PivotTree, un modello che esegue simultaneamente la selezione dei pivot e la modellazione predittiva, colmando il divario tra selezione delle istanze e classificazione interpretabile.
Meccanismi di Suddivisione Versatili: Sviluppo di strategie di suddivisione univariate, oblique e basate sulla prossimità che consentono al modello di adattarsi a diverse strutture di dati e necessità di interpretabilità.
Indipendenza dalla Modalità dei Dati: Dimostrazione che l'approccio è efficace in diverse modalità (tabulari, serie temporali, immagini, testo) utilizzando embedding pre-addestrati e una metrica di similarità unificata (distanza Euclidea, con valutazione anche di Cosine e Manhattan).
Integrazione di Ensemble: Proposta di RandomPivotForest e delle sue varianti compresse, offrendo un compromesso tra la robustezza dei metodi di ensemble e l'interpretabilità del ragionamento basato su casi.

Risultati Sperimentali
Gli autori hanno valutato PivotTree e le sue varianti su 45 dataset appartenenti a quattro modalità. Le scoperte chiave includono:

Prestazioni Predittive: Le varianti di PivotTree (specificamente $ptc_Z$ e $pts_Z$ ) hanno ottenuto risultati competitivi rispetto ai modelli interpretabili allo stato dell'arte (ad esempio, alberi decisionali, set di regole) e ai classificatori standard (kNN, Random Forests). In molti casi, hanno superato i competitor, in particolare sui dati non relazionali come immagini e testo.
Interpretabilità: I modelli hanno mantenuto alte prestazioni utilizzando un numero minimo di pivot (spesso limitato a 20), riducendo significativamente la complessità del modello rispetto alle alternative "black-box".
Prestazioni dell'Ensemble: Le varianti di RandomPivotForest hanno generalmente eguagliato o avvicinato le prestazioni degli standard Random Forests e dei metodi di boosting (XGBoost, LightLightGBM) su dati tabulari e serie temporali. Notevolmente, le varianti basate sulla prossimità ($rppt$) hanno mostrato prestazioni superiori sui dataset di immagini.
Misure di Distanza: Sebbene la distanza Euclidea sia stata la metrica primaria, gli esperimenti con le distanze Cosine e Manhattan hanno mostrato prestazioni complessive comparabili, con la distanza Cosine che ha prodotto risultati particolarmente forti per i dati di immagini.
Efficienza: I tempi di addestramento variavano in base alla dimensione e alla dimensionalità del dataset, con le varianti univariate generalmente più veloci di quelle oblique. L'uso del sottocampionamento al 10% per l'addestramento dell'ensemble ha ridotto significativamente il tempo di addestramento con un impatto minimo sulle prestazioni predittive.

Significatività e Rivendicazioni
Il documento sostiene che PivotTree rappresenti un passo avanti significativo nell'Intelligenza Artificiale Spiegabile (XAI), allineando i processi decisionali dell'apprendimento automatico con le strategie cognitive umane (ragionamento basato su casi). La sua importanza primaria risiede nella capacità di fornire modelli interpretabili e trasparenti che non sacrificano l'accuratezza predittiva, anche in domini complessi dove i tradizionali modelli interpretabili basati sulle caratteristiche faticano.

Gli autori notano con modestia che, sebbene l'approccio di ensemble (RandomPivotForest) raggiunga alte prestazioni, esso introduce una varianza nella complessità del modello. Riconoscono inoltre che per compiti in cui l'unica priorità è la prestazione assoluta, i modelli black-box o PivotTree combinato con kNN potrebbero superare le strutture ad albero standalone, sebbene quest'ultimo offra una superiore interpretabilità strutturale. Il lavoro suggerisce che la scelta del modello debba dipendere dal compromesso specifico richiesto tra interpretabilità globale, ragionamento locale e potenza predittiva. Le direzioni future identificate includono l'esplorazione di strategie di suddivisione ibride e la validazione dell'approccio in scenari reali di decisione "human-in-the-loop".

Articoli simili