Agentic Discovery with Active Hypothesis Exploration for Visual Recognition

1. Il Problema

La progettazione di architetture neurali efficaci rimane una sfida centrale nella visione artificiale. Sebbene l'automazione (Neural Architecture Search - NAS) abbia fatto progressi, i metodi esistenti spesso si limitano a:

• Ricerca in spazi predefiniti: Si basano su modifiche incrementali a un'architettura "seed" o su spazi di ricerca fissi, limitando la scoperta di idee radicalmente nuove.
• Mancanza di contesto scientifico: Trattano la scoperta come una semplice ottimizzazione o un ciclo di prova ed errore, senza tracciare esplicitamente le ipotesi scientifiche sottostanti o gestire l'incertezza.
• Ridondanza e miopia: Tendono a ripetere pattern di design noti o a rimanere bloccati in ottimi locali, senza una strategia strutturata per esplorare direzioni di ricerca incerte ma promettenti.

L'obiettivo è creare un sistema autonomo che non solo generi architetture, ma conduca un processo di scoperta scientifica, formulando, testando e affinando ipotesi esplicite sul perché certi meccanismi architetturali funzionino.

2. Metodologia: HypoExplore

Il paper introduce HypoExplore, un framework multi-agente basato sulla memoria che riformula la scoperta di architetture neurali come un'indagine scientifica guidata da ipotesi.

Componenti Chiave del Framework

1. Agenti Specializzati:

   • Idea Agent: Genera nuove architetture partendo da una direzione di ricerca umana o evolvendo un'ipotesi genitore.
   • Coding Agent: Implementa l'architettura in codice PyTorch, gestisce il debug e il raffinamento degli iperparametri.
   • Executor: Addestra e valuta i modelli con timeout rigorosi.
   • Feedback Agents (Multi-perspective): Quattro agenti analizzano i risultati da diverse angolazioni:
     • Quantitativo: Analisi di accuratezza, curve di perdita e convergenza.
     • Qualitativo (VLM): Analisi delle immagini classificate erroneamente e delle mappe di attenzione.
     • Causale: Attribuisce i cambiamenti di performance alle modifiche strutturali specifiche.
     • Diagnostico: Analizza i fallimenti (es. timeout, errori di memoria) per identificare colli di bottiglia.
   • Hypothesis Synthesis Agent: Consolida i feedback, risolve le contraddizioni e aggiorna la memoria delle ipotesi.

2. Sistema di Memoria Strutturata:

   • Trajectory Tree (Albero di Traiettoria): Registra la genealogia completa delle ricerche, mantenendo il legame tra genitori e figli, le ipotesi usate e i risultati osservati.
   • Hypothesis Memory Bank (Banca della Memoria delle Ipotesi): Traccia statistiche per ogni ipotesi, inclusi:
     • Conteggio dei test ($N_t$).
     • Punteggio di Confidenza ($c_t$): Un valore tra 0 e 1 che evolve in base alle evidenze (supporto o contraddizione).
     • Log delle evidenze, modalità di fallimento e note di implementazione.

3. Strategia di Selezione Duale (Dual Selection Strategy):
   Per bilanciare sfruttamento ed esplorazione, il sistema seleziona in due fasi:

   • Selezione del Nodo Genitore: Sceglie quale ramo dell'albero espandere basandosi su un punteggio che combina la performance attuale e il potenziale di esplorazione residua (rami non ancora saturi).
   • Selezione dell'Ipotesi: All'interno del ramo scelto, seleziona quali ipotesi testare utilizzando:
     • Campionamento di Thompson (Sfruttamento): Prioritizza ipotesi con evidenze di supporto forti ma non ancora definitive.
     • Valore Epistemico (Esplorazione): Prioritizza ipotesi con alta incertezza (confidenza vicina a 0.5) per ridurre l'ignoranza.

3. Contributi Chiave

• HypoExplore: Un framework multi-agente che tratta la scoperta di architetture come un processo scientifico autonomo, partendo da zero (senza seed predefiniti) e guidato da ipotesi esplicite.
• Memoria Centrata sull'Ipotesi: Introduzione di un sistema di memoria duale (Albero di Traiettoria + Banca delle Ipotesi) che permette di tracciare la storia evolutiva e accumulare conoscenza trasferibile, evitando ridondanze.
• Strategia di Selezione Guidata: Un meccanismo che bilancia dinamicamente l'esplorazione di direzioni incerte con lo sfruttamento di principi validati, superando i limiti dei metodi puramente euristici o basati su ricompensa immediata.
• Scoperta di Principi Trasferibili: Dimostrazione che le ipotesi apprese (es. meccanismi di routing globale o normalizzazione per banda) non sono specifiche di un singolo modello, ma catturano principi di design generali che migliorano le prestazioni su dataset diversi.

4. Risultati Sperimentali

Il framework è stato testato su diversi dataset di classificazione di immagini:

• CIFAR-10:

  • HypoExplore ha scoperto un'architettura leggera chiamata GSTN (Global Shape Token Network).
  • Performance: Raggiunge il 94.11% di accuratezza, partendo da una baseline iniziale del 18.91%.
  • Efficienza: GSTN utilizza solo 0.9M parametri, superando o eguagliando architetture ingegnerizzate manualmente come MobileNet V3 e ShuffleNet V2, pur avendo parametri significativamente inferiori.
  • Analisi Ablativa: La rimozione di qualsiasi componente chiave (selezione delle ipotesi, feedback multi-agente, memoria) porta a un plateau delle prestazioni ben al di sotto del 94%.

• Generalizzazione (CIFAR-100 e Tiny-ImageNet):

  • L'architettura GSTN scoperta su CIFAR-10 si è trasferita efficacemente a dataset più complessi, ottenendo risultati competitivi (es. 72.6% su CIFAR-100) senza ri-addestramento specifico, dimostrando la robustezza dei principi scoperti.

• Dominio Specializzato (MedMNIST):

  • Una corsa di scoperta indipendente su DermalMNIST ha prodotto un'architettura che ottiene il 82.1% di accuratezza, superando lo stato dell'arte (SOTA) su questo dataset medico specifico, confermando l'applicabilità del metodo anche in domini di nicchia.

• Validazione delle Ipotesi:

  • È stato dimostrato che il punteggio di confidenza delle ipotesi è predittivo: le ipotesi con alta confidenza (>0.75) hanno un tasso di successo nell'anticipare il miglioramento delle prestazioni dell'80%.
  • Le conoscenze apprese si trasferiscono tra linee evolutive indipendenti (cross-lineage), confermando che il sistema sta imparando principi di design universali e non solo adattamenti locali.

5. Significato e Impatto

Questo lavoro segna un cambiamento di paradigma nella ricerca automatica di architetture neurali:

1. Dall'ottimizzazione alla Scienza: Sposta il focus dalla semplice ricerca di parametri ottimali alla formulazione e validazione di ipotesi scientifiche, rendendo il processo di scoperta più interpretabile e strutturato.
2. Trasferibilità della Conoscenza: Dimostra che un agente autonomo può accumulare una "base di conoscenza" di principi di design (es. l'importanza di token globali per la forma, o la normalizzazione per banda) che sono validi attraverso diversi task e dataset.
3. Scoperta da Zero: La capacità di partire senza un'architettura seed predefinita permette di scoprire soluzioni radicalmente nuove che i metodi basati su spazi di ricerca fissi non potrebbero mai trovare.
4. Scalabilità: Il framework è applicabile non solo alla visione artificiale, ma potenzialmente a qualsiasi dominio di scoperta scientifica automatizzata, offrendo un modello per sistemi autonomi che ragionano esplicitamente su ciò che è noto e su ciò che rimane incerto.

In sintesi, HypoExplore non si limita a trovare un modello migliore, ma capisce perché quel modello funziona, costruendo una comprensione genuina dello spazio di design attraverso un ciclo iterativo di ipotesi, sperimentazione e apprendimento dalla memoria.