💻 computer science

Neurosymbolic Object-Centric Learning with Distant Supervision

Il documento introduce DeepObjectLog, un modello neurosimbolico probabilistico che apprende rappresentazioni centrate sugli oggetti direttamente dalle etichette di compito globali tramite supervisione distante, consentendo una generalizzazione superiore rispetto alla distribuzione nei compiti di ragionamento visivo senza richiedere annotazioni per oggetto.

Autori originali: Stefano Colamonaco, David Debot, Giuseppe Marra

Pubblicato 2026-05-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Stefano Colamonaco, David Debot, Giuseppe Marra

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot a risolvere un problema di matematica, ma gli mostri solo la risposta finale, non i passaggi né i singoli numeri.

Per esempio, mostri al robot un'immagine con un "3" e un "4" scarabocchiati sopra, e gli dici: "La risposta è 7". Non dici al robot dove si trova il 3, dove si trova il 4, o nemmeno quanti numeri ci sono nell'immagine. Gli dai solo l'immagine e la somma finale.

Questa è la sfida che l'articolo affronta. La maggior parte dei modelli di intelligenza artificiale è come studenti che memorizzano la chiave delle risposte ma non sanno davvero fare i calcoli se i numeri cambiano. Faticano quando l'immagine contiene un numero diverso di elementi o una nuova combinazione di oggetti.

Il Problema: La "Scatola Nera" contro l'"Enigma Logico"

L'intelligenza artificiale attuale si divide in due campi, entrambi con difetti:

Reti Neurali Pure (La Scatola Nera): Queste sono eccellenti nel riconoscere pattern ma terribili nel ragionamento. Se le addestri ad aggiungere due numeri, potrebbero imparare a riconoscere la forma della somma "7" invece di sommare effettivamente 3 + 4. Se mostri loro 4 + 3, potrebbero confondersi perché il pattern appare leggermente diverso.
Intelligenza Artificiale Neurosimbolica (L'Enigma Logico): Questi modelli utilizzano regole logiche rigide (come "Se A + B = C"). Sono eccellenti nel ragionamento, ma di solito hanno bisogno che un umano dica loro esattamente dove si trovano gli oggetti prima. Non possono guardare una foto disordinata e dire: "Ah, c'è un 3 qui e un 4 lì". Hanno bisogno che gli oggetti siano già ritagliati e consegnati loro.

La Soluzione: DeepObjectLog (Il Detective)

Gli autori hanno creato un nuovo sistema chiamato DeepObjectLog. Pensalo come un detective che impara a risolvere un mistero guardando la scena del crimine e la sentenza finale, senza che gli vengano dette le identità dei sospettati.

Ecco come funziona, usando una semplice analogia:

1. Il Sistema a "Slot" (La Lente d'Ingrandimento del Detective)
Immagina che l'IA abbia un set di "slot" invisibili o lenti d'ingrandimento che può posizionare ovunque su un'immagine. Non sa quanti oggetti ci sono, quindi distribuisce, diciamo, 5 lenti d'ingrandimento.

Alcune lenti atterrano su un "3".
Altre atterrano su un "4".
Altre atterrano su spazi vuoti di sfondo.

2. La Domanda "Oggettività" (È un sospettato?)
Per ogni lente d'ingrandimento, l'IA si chiede: "Questo è davvero un oggetto, o solo rumore di fondo?"

Se è sfondo, l'IA dice: "Ignora questo."
Se è un oggetto, dice: "Questo è un sospetto!" e cerca di indovinare cosa sia (ad esempio: "Questo sembra un 3").

3. Il "Livello Logico" (Il Giudice)
Questa è la parte magica. L'IA prende tutte le sue ipotesi ("Sospetto A è un 3, Sospetto B è un 4, Sospetto C non è nulla") e le sottopone a un programma logico rigoroso (come un manuale di regole matematiche).

Il manuale dice: "Se sommi i numeri dei sospetti reali, il risultato deve corrispondere alla risposta finale che ci è stata data (7)."
Se l'IA indovina male (ad esempio, pensava che lo sfondo fosse un 5), la matematica non torna a 7. Il livello logico dice: "Questo non ha senso", e invia un segnale indietro al detective per cambiare idea.

4. Imparare dall'Errore
Di continuo, l'IA aggiusta le sue lenti d'ingrandimento. Impara che quando la risposta finale è 7, deve trovare un 3 e un 4. Impara a ignorare il rumore di fondo perché includerlo rompe la matematica.

Perché è una Grande Novità

L'articolo afferma che questo approccio è superiore perché impara la struttura piuttosto che la semplice memorizzazione.

Generalizzazione (Il Test del "Nuovo Enigma"): Se addestri l'IA su immagini con 2 o 3 numeri, e poi le mostri un'immagine con 5 numeri, può ancora risolverlo. Perché? Perché ha imparato la regola dell'addizione, non solo il pattern di "due numeri". Può attivare più "lenti d'ingrandimento" per gestire i numeri extra.
Nessuna Etichetta Necessaria: L'IA non ha avuto bisogno che un umano disegnasse riquadri intorno ai numeri. Ha capito dove si trovavano gli oggetti semplicemente cercando di soddisfare la risposta finale.
Meglio dei Modelli "Cervellone": Gli autori hanno testato il loro sistema contro enormi modelli di IA pre-addestrati (come quelli con cui chatti). Anche quei modelli giganteschi hanno faticato con questo specifico enigma logico, ottenendo risposte sbagliate. DeepObjectLog, che è molto più piccolo e specializzato, ha avuto ragione il 90% delle volte.

La Conclusione

DeepObjectLog è come insegnare a un bambino a fare matematica mostrandogli la chiave delle risposte e lasciandogli capire i numeri da solo. Combinando la capacità di "vedere" gli oggetti (percezione) con la capacità di "controllare la matematica" (logica), l'IA impara a comprendere il mondo in un modo che è flessibile, logico e non si rompe quando la situazione cambia.

L'articolo dimostra che questo funziona su compiti come l'addizione di numeri, il riconoscimento di mani di poker e il conteggio di oggetti in scene complesse, provando che l'IA può imparare a "pensare" riguardo agli oggetti anche quando non le viene detto esattamente quali siano quegli oggetti.

Riepilogo Tecnico: Apprendimento Neurosimbolico Centrato sugli Oggetti con Supervisione Distante

Enunciato del Problema

I sistemi di IA neurosimbolica attuali affrontano un collo di bottiglia critico: sebbene possano utilizzare efficacemente regole simboliche per supervisionare concetti latenti da etichette deboli, tipicamente assumono che le entità (oggetti) a cui fanno riferimento queste regole siano già specificate. Al contrario, i modelli di apprendimento centrato sugli oggetti possono decomporre le immagini in rappresentazioni simili a slot, ma spesso falliscono nell'allineare questi slot ai predicati specifici richiesti per il ragionamento simbolico, specialmente quando la supervisione a livello di oggetto (ad esempio, maschere, riquadri di delimitazione o etichette per oggetto) non è disponibile.

Questo articolo affronta la sfida dell'apprendimento neurosimbolico centrato sugli oggetti sotto supervisione distante. Il problema fondamentale è definito come l'apprendimento di un modello in cui:

Input: Un dataset di coppie immagine-etichetta $(x, y)$ dove le immagini possono contenere un numero sconosciuto di oggetti, ma non esistono annotazioni per identità, posizione o classe dell'oggetto.
Vincolo: È fornito un programma logico probabilistico $L$ , che specifica come i predicati latenti a livello di oggetto (ad esempio, oggettività e classe) determinano l'etichetta globale $y$ .
Obiettivo: Apprendere un modello neurosimbolico che inferisca la struttura centrata sugli oggetti (quali parti dell'immagine sono oggetti e cosa sono) direttamente dall'etichetta del compito globale, consentendo allo strato simbolico di vincolare lo strato percettivo senza supervisione esplicita a livello di oggetto.

Metodologia: DeepObjectLog

Gli autori propongono DeepObjectLog, un'architettura neurosimbolica probabilistica che integra un encoder percettivo basato su slot con uno strato di logica probabilistica. Il modello è addestrato end-to-end utilizzando un obiettivo di Massima A Posteriori (MAP) con inferenza ammortizzata.

1. Modello Grafico Probabilistico

Il modello definisce una distribuzione congiunta sull'immagine $x$ , sull'etichetta del compito $y$ e su variabili latenti che includono la rappresentazione della scena $z$ , le rappresentazioni degli slot $s$ , le probabilità di oggettività $\beta$ , i flag di oggettività $o$ e le etichette di classe $c$ .

Encoder: Un meccanismo di Slot Attention estrae fino a $N$ rappresentazioni di slot latenti $s_i$ dall'immagine.
Rilevatore di Oggetti e Classificatore: Per ogni slot, il modello prevede:
- Una probabilità di oggettività $\beta_i \in [0, 1]$ , che rappresenta l'incertezza che lo slot corrisponda a un oggetto significativo.
- Una distribuzione di classe $p(c_i | s_i, \beta_i)$ , condizionata all'oggettività.
- Il flag di oggettività $o_i$ è modellato come una variabile Bernoulliana con parametro $\beta_i$ .
Mascheramento Soft: Per ridurre l'influenza dello sfondo o di slot spurii, la rappresentazione dello slot è moltiplicata elemento per elemento per il suo punteggio di oggettività $\beta_i$ prima di essere passata al classificatore e al decoder.

2. Ragionamento Logico Probabilistico

Il componente simbolico utilizza ProbLog, un framework di programmazione logica probabilistica.

Fatti Probabilistici: I flag di oggettività $o_i$ e le assegnazioni di classe $c_i$ sono trattati come fatti probabilistici (ad esempio, $p::object(i)$).
Regole: Regole logiche definiscono come questi fatti si combinano per determinare l'etichetta del compito $y$ (ad esempio, $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$ ).
Marginalizzazione: La verosimiglianza dell'etichetta osservata $y$ è calcolata marginalizzando su tutte le possibili assegnazioni di oggettività e classe. Ciò consente al sistema di calcolare un segnale di apprendimento differenziabile a livello di compito senza richiedere campionamento discreto o perdite di corrispondenza di insiemi euristiche (come la perdita ungherese).

3. Obiettivo di Apprendimento

L'obiettivo di addestramento massimizza la probabilità congiunta dei dati osservati e di una spiegazione latente $z$ :
$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$
Dove:

Il primo termine incoraggia la rappresentazione centrata sugli oggetti inferita a spiegare l'etichetta del compito simbolico.
Il secondo termine (perdita di ricostruzione) garantisce che la rappresentazione possa ricostruire l'immagine di input.
Il terzo termine è un prior sulla spiegazione latente ammortizzata.
$q_\phi$ è un encoder neurale che approssima la spiegazione latente $z$ , evitando la necessità di un ciclo di ottimizzazione interna per ogni esempio di addestramento.

Contributi Chiave

Formulazione: L'articolo formula il problema dell'apprendimento neurosimbolico centrato sugli oggetti da supervisione distante, dove gli oggetti devono essere inferiti dalla percezione piuttosto che forniti come input strutturati.
Interfaccia Probabilistica: Introduce un'interfaccia differenziabile tra slot e logica dove le variabili di oggettività e classe sono marginalizzate tramite inferenza probabilistica. Ciò elimina la necessità di annotazioni di oggetti, campionamento discreto o perdite di corrispondenza di insiemi.
Architettura DeepObjectLog: Gli autori istanziano questa formulazione in DeepObjectLog e dimostrano che il feedback logico migliora l'uso rilevante per il compito delle rappresentazioni centrate sugli oggetti, supportando una generalizzazione relazionale più forte.

Risultati Sperimentali

Il modello è stato valutato su quattro benchmark: MultiMNIST-Addition, PokerRules, CLEVR-Addition e COCOLogic.

Generalizzazione Compositiva: Su MultiMNIST-Addition, DeepObjectLog ha raggiunto un'accuratezza del 90,00% su composizioni fuori distribuzione (OOD) (combinazioni di cifre non viste), superando significativamente le linee di base neurali (ad esempio, Slot Attention al 13,30%) e una linea di base neurosimbolica standard senza percezione centrata sugli oggetti (35,76%).
Generalizzazione del Compito: Nel compito PokerRules, il modello ha raggiunto un'accuratezza del 72,23% su classi OOD (ad esempio, "tripla" non vista durante l'addestramento), mentre la linea di base neurosimbolica ha fallito (0,46%). Le linee di base neurali non potevano generalizzare a nuove classi poiché i loro spazi di output erano fissati dalle etichette di addestramento.
Generalizzazione del Numero di Oggetti: Il modello ha dimostrato una robusta estrapolazione a immagini con più oggetti rispetto a quelli visti durante l'addestramento (ad esempio, 4-5 cifre in MultiMNIST), mantenendo un'alta accuratezza dove i concorrenti si degradavano significativamente.
Forza del Segnale di Apprendimento: Su COCOLogic, DeepObjectLog ha raggiunto un'accuratezza concettuale non banale con 0% di supervisione a livello di oggetto, dimostrando la sua capacità di apprendere la struttura degli oggetti puramente dal segnale del compito. Questa prestazione è stata mantenuta anche all'aumentare dei livelli di supervisione.
Confronto con VLM: Sul compito OOD MultiMNIST-Addition, DeepObjectLog (90% di accuratezza) ha superato significativamente i grandi modelli Vision-Language (LLaVA-1.5 e Qwen2.5-VL), che hanno faticato a risolvere il compito in modo affidabile con prompt zero-shot.

Significato e Affermazioni

L'articolo afferma che DeepObjectLog rappresenta un passo significativo verso sistemi neurosimbolici più generali colmando il divario tra la scoperta percettiva degli oggetti e il ragionamento simbolico. Il suo significato principale risiede in:

Generalizzazione Relazionale: La capacità di supportare il ragionamento sotto spostamenti di distribuzione, incluse nuove composizioni di oggetti, diversi conteggi di oggetti e nuove query simboliche su vocabolari appresi.
Robustezza senza Supervisione: La capacità di apprendere strutture significative centrate sugli oggetti e di ragionare su di esse senza richiedere supervisione esplicita a livello di oggetto (maschere o riquadri di delimitazione), affidandosi esclusivamente a etichette di compiti globali e regole simboliche.
Interpretabilità: Il modello fornisce previsioni interpretabili a livello di oggetto (oggettività e classe) che si allineano con il processo di ragionamento simbolico, offrendo garanzie che gli approcci puramente neurali non possiedono.

Gli autori riconoscono le limitazioni, inclusi i costi computazionali dell'inferenza esatta nella logica probabilistica (sebbene mitigati da framework di ottimizzazione) e la potenziale presenza di scorciatoie nel ragionamento in contesti di supervisione debole, che i loro vincoli strutturali mirano a scoraggiare. Concludono che, sebbene l'approccio faccia avanzare l'IA robusta e interpretabile, i futuri dispiegamenti devono considerare i rischi relativi ai pregiudizi e alla sorveglianza a doppio uso.