Heterogeneous Multi-Agent Reinforcement Learning with Attention for Cooperative and Scalable Feature Transformation

Il paper propone un nuovo framework di apprendimento per rinforzo multi-agente eterogeneo che utilizza meccanismi di attenzione e un critico condiviso per abilitare una trasformazione delle caratteristiche collaborativa, scalabile e stabile per i dati strutturati.

L'essenziale

Immagina di essere un cuoco stellato che deve preparare un piatto delizioso (il modello di intelligenza artificiale) per i suoi clienti. Hai a disposizione un armadio pieno di ingredienti grezzi: farina, uova, zucchero, spezie, ecc. Questi sono i dati con cui lavoriamo.

Il problema è che, a volte, gli ingredienti grezzi da soli non bastano per fare un piatto eccezionale. Devi combinarli in modo intelligente: magari mescolare la farina con le uova per fare un impasto, o aggiungere un pizzico di sale per esaltare il gusto. Nel mondo dell'informatica, questo processo si chiama Trasformazione delle Caratteristiche (Feature Transformation).

Fino a poco tempo fa, trovare la combinazione perfetta era come cercare un ago in un pagliaio. I metodi vecchi provavano combinazioni a caso o seguivano regole rigide, spesso sprecando molto tempo e ottenendo risultati mediocri.

Ecco dove entra in gioco il nuovo metodo descritto in questo paper, chiamato HAFT.

1. La Squadra di Cuochi (Agenti Multi-Agente)

Invece di avere un solo cuoco che prova a indovinare tutto da solo, HAFT assume una squadra di tre cuochi specializzati che lavorano insieme:

• Il Cuoco "Testa" (Head Agent): Sceglie il primo ingrediente importante (es. "Prendiamo le uova").
• Il Cuoco "Operazione" (Operation Agent): Decide come trattare quell'ingrediente (es. "Sbattiamole" o "Cuociamole").
• Il Cuoco "Coda" (Tail Agent): Sceglie un secondo ingrediente da combinare con il primo (es. "Ora aggiungiamo la farina").

Questi tre non lavorano in isolamento. Sono come una brigata di cucina dove ognuno guarda cosa fa l'altro per non sbagliare.

2. Il Maestro di Sala (Il Critico Condiviso)

C'è un problema: se i cuochi non si parlano, potrebbero scegliere ingredienti che si contraddicono (es. uno vuole dolce, l'altro salato).
Per risolvere questo, HAFT introduce un Maestro di Sala (chiamato Shared Critic).

• Il Maestro di Sala non cucina, ma osserva l'intera cucina.
• Guarda tutti gli ingredienti disponibili e le decisioni prese dai cuochi.
• Loro dicono: "Ehi, se combiniamo le uova sbattute con la farina, il piatto verrà meglio!".
• Questo crea una comunicazione globale: i cuochi imparano a collaborare perché ricevono un feedback basato su come sta andando l'intero processo, non solo sulla loro singola azione.

3. L'Attenzione Magica (Attention Mechanism)

Man mano che la cucina procede, il numero di ingredienti possibili esplode. Potresti avere migliaia di combinazioni. Come fa un cuoco a non impazzire?
Qui entra in gioco la Meccanica dell'Attenzione (Multi-Head Attention).
Immagina che ogni cuoco abbia degli occhiali magici. Invece di guardare tutti gli ingredienti sul tavolo (che sarebbero troppi), gli occhiali si concentrano solo sugli ingredienti più promettenti e rilevanti in quel momento.

• Se il piatto sta diventando troppo dolce, gli occhiali si concentrano sugli ingredienti salati.
• Questo permette alla squadra di scalare: anche se hai 10.000 ingredienti, riescono a trovarne subito i 3 o 4 giusti senza perdere tempo.

4. La Mappa Stabile (State Encoding)

C'è un altro ostacolo: il tavolo da cucina cambia continuamente. Ogni volta che crei una nuova combinazione, il tavolo diventa più grande e disordinato. Questo confonde i cuochi e li fa impazzire.
Gli autori hanno inventato una mappa stabile. Invece di guardare il tavolo disordinato, creano un riassunto ordinato (statistiche e relazioni chiave) che rimane sempre della stessa forma, indipendentemente da quanti nuovi ingredienti sono stati aggiunti. Questo aiuta i cuochi a mantenere la calma e a imparare in modo più veloce e sicuro.

Il Risultato?

Alla fine di questo processo, HAFT non si limita a mescolare ingredienti a caso.

• Trova combinazioni intelligenti: Come trasformare "lunghezza" e "larghezza" in "area" (un concetto nuovo e utile).
• È veloce: Non perde tempo a guardare ingredienti inutili grazie agli "occhiali magici".
• È robusto: Funziona bene anche se cambi il tipo di piatto (il modello di machine learning) che devi preparare.

In sintesi, questo paper ci dice che per creare intelligenza artificiale potente, non serve un super-cuoco solitario, ma una squadra coordinata che parla tra sé, guarda il quadro generale e sa esattamente quali ingredienti scegliere, anche quando l'armadio è pieno zeppo di opzioni. Il risultato è un piatto (un modello AI) molto più saporito e preciso.

Sommario tecnico

1. Il Problema

La trasformazione delle caratteristiche (feature transformation) è un processo fondamentale nell'ingegneria delle caratteristiche automatizzata, specialmente per i dati strutturati (tabulari). Consiste nel generare nuove caratteristiche informative attraverso operazioni matematiche (es. incrocio di caratteristiche) per migliorare le prestazioni dei modelli di apprendimento automatico a valle.

Nonostante i successi del Deep Learning, la trasformazione delle caratteristiche rimane cruciale per garantire l'interpretabilità e catturare interazioni complesse che i modelli neurali faticano a imparare direttamente dai dati grezzi. Tuttavia, i metodi esistenti presentano due limitazioni principali:

1. Espansione dinamica dello spazio delle caratteristiche: Durante il processo iterativo di trasformazione, lo spazio delle caratteristiche cresce continuamente. Questo rende difficile e inefficiente per gli agenti di Reinforcement Learning (RL) identificare le caratteristiche chiave da incrociare, aumentando la complessità temporale e l'instabilità.
2. Cooperazione insufficiente tra agenti: I metodi precedenti spesso si basano su scambi locali o informazioni parziali tra gli agenti, limitando la consapevolezza dello spazio globale delle caratteristiche e portando a politiche di trasformazione subottimali.

2. Metodologia: HAFT

Gli autori propongono HAFT (Heterogeneous multi-Agent reinforcement learning framework for cooperative and scalable Feature Transformation), un framework che utilizza un approccio multi-agente eterogeneo per risolvere le sfide sopra citate.

Architettura degli Agenti Eterogenei

Il sistema impiega tre agenti in cascata, specializzati in ruoli specifici:

• Head Feature Agent: Seleziona la prima caratteristica candidata ($f_1$) dallo spazio delle caratteristiche corrente.
• Operation Agent: Seleziona un'operazione matematica ($o$) da un insieme fisso (es. addizione, moltiplicazione, funzioni trigonometriche).
• Tail Feature Agent: Seleziona la seconda caratteristica candidata ($f_2$) basandosi sulle decisioni dei due agenti precedenti e sullo stato globale.

Componenti Chiave della Metodologia

1. Agenti delle Caratteristiche basati su Multi-Head Attention:
   Per gestire l'espansione dinamica dello spazio delle caratteristiche, gli agenti che selezionano le caratteristiche utilizzano un'architettura basata su Transformer (Multi-Head Self-Attention). Questo permette all'agente di:

   • Gestire input di dimensione variabile senza richiedere un dimensionamento fisso.
   • Catturare interazioni complesse e relazioni globali tra tutte le caratteristiche disponibili.
   • Assegnare pesi di attenzione alle caratteristiche più rilevanti per il prossimo passo di incrocio.

2. Agente delle Operazioni basato su MLP:
   Poiché l'insieme delle operazioni è statico, questo agente utilizza una rete neurale semplice (MLP) con una maschera dinamica. La maschera disabilita le operazioni non valide per determinate caratteristiche (es. evitare la radice quadrata su valori negativi), garantendo la validità delle trasformazioni.

3. Critic Centrale Condiviso (Shared Critic):
   Per migliorare la cooperazione, tutti gli agenti condividono un unico critic centrale.

   • Funzione: Valuta le decisioni degli agenti utilizzando informazioni globali sullo stato dello spazio delle caratteristiche e le azioni degli altri agenti.
   • Vantaggio: Fornisce una visione globale, riducendo la non-stazionarietà e facilitando l'assegnazione del credito (credit assignment) in un ambiente cooperativo complesso.

4. Codifica dello Stato (State Encoding):
   Per stabilizzare l'apprendimento del critic di fronte all'espansione dello spazio delle caratteristiche, viene proposta una codifica dello stato a due rami:

   • Ramo Statistico: Calcola statistiche descrittive (media, varianza, quartili, ecc.) e le normalizza in un vettore a lunghezza fissa.
   • Ramo di Interazione: Utilizza l'attenzione per creare rappresentazioni contestuali delle caratteristiche, aggregandole in un vettore fisso.
     Questo approccio rende l'input del critic robusto e indipendente dalla dimensione variabile dello spazio delle caratteristiche.

5. Algoritmo di Aggiornamento:
   Viene utilizzato una variante personalizzata di HAPPO (Heterogeneous Actor-PPO) con decomposizione del vantaggio (advantage decomposition) sequenziale. Gli agenti vengono aggiornati in ordine (Head -> Operation -> Tail), tenendo conto delle politiche aggiornate degli agenti precedenti per allineare gli obiettivi di apprendimento.

3. Contributi Principali

• Nuovo Framework: Introduzione di HAFT, un approccio multi-agente eterogeneo che combina agenti specializzati per la selezione di caratteristiche e operazioni.
• Scalabilità e Adattabilità: Implementazione di agenti basati su attenzione per gestire spazi di caratteristiche in continua espansione senza modifiche strutturali.
• Cooperazione Avanzata: Progettazione di un critic condiviso e di uno schema di decomposizione del vantaggio per migliorare la comunicazione e la coordinazione tra agenti.
• Stabilità dell'Apprendimento: Sviluppo di una tecnica di codifica dello stato che mitiga l'instabilità causata dall'espansione dinamica delle dimensioni dello spazio delle caratteristiche.

4. Risultati Sperimentali

Gli autori hanno valutato HAFT su 23 dataset reali (14 di classificazione e 9 di regressione) provenienti da UCI, LibSVM, Kaggle e OpenML.

• Prestazioni Generali: HAFT ha superato costantemente 8 metodi di baseline (inclusi AFAT, NFS, GRFG e DIFER) in termini di metriche come F1-score, 1-RAE, R2 e accuratezza.
• Ablation Study:
  • La rimozione del Shared Critic (sostituito con critic separati) o della decomposizione del vantaggio ha portato a un calo significativo delle prestazioni, confermando l'importanza della cooperazione globale.
  • L'uso esclusivo di statistiche nello stato del critic (senza interazioni basate su attenzione) ha ridotto l'efficacia, dimostrando che la comprensione delle interazioni tra caratteristiche è cruciale.
• Robustezza: HAFT ha mantenuto prestazioni superiori indipendentemente dal modello di apprendimento automatico utilizzato come task a valle (Random Forest, XGBoost, SVM, KNN, Ridge).
• Scalabilità: Rispetto all'algoritmo più simile (GRFG), HAFT ha mostrato un tempo di calcolo per iterazione significativamente inferiore, evitando i colli di bottiglia legati al clustering.
• Interpretabilità: Un caso di studio sul dataset Messidor_features ha dimostrato che HAFT genera caratteristiche tracciabili e interpretabili (es. combinazioni non lineari di caratteristiche cliniche) che migliorano la diagnosi della retinopatia diabetica.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'automazione dell'ingegneria delle caratteristiche per dati strutturati.

• Superamento dei limiti del RL: Risolve efficacemente il problema dell'espansione dinamica dello spazio delle caratteristiche, un ostacolo storico per l'applicazione del RL in questo dominio.
• Efficienza e Scalabilità: Dimostra che è possibile esplorare spazi di ricerca vasti e complessi in modo efficiente, rendendo il metodo applicabile a scenari reali con grandi volumi di dati.
• Interpretabilità: A differenza di molti metodi di Deep Learning che agiscono come "scatole nere", HAFT produce trasformazioni tracciabili e spiegabili, un requisito fondamentale in settori critici come la finanza e la sanità.
• Collaborazione Multi-Agente: Offre un modello di riferimento su come strutturare sistemi multi-agente cooperativi per compiti di ottimizzazione sequenziale complessi, utilizzando meccanismi di attenzione e critic centralizzati.

In sintesi, HAFT fornisce un framework robusto, scalabile e interpretabile per l'automazione della trasformazione delle caratteristiche, superando le limitazioni delle tecniche precedenti e offrendo prestazioni superiori in una vasta gamma di compiti di apprendimento automatico.