HyperCookies A hyperspectral dataset of cookies for spectral-spatial machine learning

Nel mondo della visione, i nostri occhi e le normali fotocamere che portiamo nelle nostre tasche sono limitati a una stretta fetta di realtà. Essi catturano la luce in tre ampie bande — rosso, verde e blu — creando immagini che ci appaiono familiari ma che perdono una vasta quantità di informazioni nascoste nello spettro. Molti materiali, dalle foglie di una pianta alla superficie di un biscotto, riflettono la luce in modi che appaiono identici ai nostri occhi, ma che possiedono impronte chimiche uniche se osservati attraverso centinaia di lunghezze d'onda specifiche. Questo è il regno dell'imaging iperspettrale, una tecnologia che non cattura solo un'immagine, ma un rapporto chimico dettagliato per ogni singolo pixel di quell'immagine. Sebbene questa tecnologia sia stata utilizzata a lungo per smistare i raccolti o ispezionare componenti industriali, una sfida persistente è rimasta: come insegnare ai computer a utilizzare contemporaneamente sia i dati chimici che la forma visiva di un oggetto. La maggior parte dei dataset esistenti permette ai computer di risolvere problemi guardando solo alla chimica o solo alla forma, ma i compiti del mondo reale spesso richiedono che una macchina comprenda come le due cose siano intrecciate.

Un team di ricercatori della KU Leuven in Belgio ha affrontato questo vuoto creando un nuovo benchmark chiamato HyperCookies. Non si sono limitati a raccogliere immagini di cibo; hanno progettato un puzzle specifico che costringe un computer a guardare sia la composizione chimica che la disposizione fisica di un biscotto per risolverlo. I ricercatori hanno preparato 16e0 biscotti fatti a mano, ciascuno decorato con gocce di cioccolato. Il trucco risiede negli ingredienti e nella disposizione. Hanno utilizzato due tipi di cioccolato: uno con il 54 percento di cacao e un altro con l'80 percento di cacao. A occhio nudo, e anche per una fotocamera standard, questi due cioccolati appaiono quasi identici. Tuttavia, la loro composizione chimica è abbastanza diversa da permettere a una fotocamera iperspettrale di distinguerli. I ricercatori hanno poi disposto queste gocce sui biscotti in quattro modelli distinti: alcune in un cerchio con il cioccolato più scuro all'esterno, altre con il cioccolato più scuro al centro, e altre ancora con configurazioni a scacchiera o diagonali.

L'obiettivo era creare un dataset in cui un computer non potesse vincere affidandosi a una singola modalità. Se una macchina avesse cercato di identificare il tipo di biscotto utilizzando solo la firma chimica del cioccolato, avrebbe fallito perché la miscela chimica media dell'intero biscotto appariva troppo simile tra le diverse classi. Se avesse cercato di identificare il biscotto utilizzando solo il modello visivo, avrebbe fallito ugualmente perché i due tipi di cioccolato sono visivamente indistinguibili nella luce standard. Per avere successo, un algoritmo doveva imparare a vedere il modello e sapere dove si trovava la sostanza chimica. I ricercatori hanno ripreso questi biscotti utilizzando due fotocamere specializzate che scansionano lo spettro luminoso, una che copre l'intervallo del visibile e del vicino infrarosso e l'altra che copre l'infrarosso a onde corte. Hanno fotografato i biscotti sia prima che dopo la cottura, introducendo i cambiamenti naturali causati dal calore sull'impasto e sul cioccolato.

Quando i ricercatori hanno testato gli strumenti standard di machine learning su questo nuovo dataset, i risultati sono stati chiari e umilianti. Hanno provato a utilizzare metodi che guardano solo ai dati chimici, mediando lo spettro dell'intero biscotto, e questi metodi non hanno performato meglio di un caso casuale. Hanno anche provato potenti reti di riconoscimento d'immagine che guardano solo alla forma e alla consistenza del biscotto, e anche queste hanno faticato a distinguere le classi tra loro. I migliori risultati ottenuti con questi approcci separati si sono attestati intorno al 40-50 percento di accuratezza, ben al di sotto del livello necessario per un sistema affidabile. Questo esito non è stato un fallimento della tecnologia, ma una conferma del design del dataset. Ha dimostrato che, per questo compito specifico, guardare solo alla chimica o solo alla forma non è sufficiente. L'informazione necessaria per risolvere il puzzle è racchiusa nella relazione tra le due.

Il documento presenta il dataset HyperCookies come una risorsa pubblica per scienziati che desiderano sviluppare e testare nuovi metodi per fondere questi due tipi di informazioni. Fornendo gruppi di dati pre-suddivisi per l'addestramento e il test, i ricercatori assicurano che i futuri studi possano essere confrontati equamente. Il dataset include registrazioni dettagliate dei biscotti, annotando persino piccole imperfezioni come crepe o cioccolato spalmato avvenute durante la cottura, consentendo ai ricercatori di testare quanto i loro modelli siano robusti contro la "sporcizia" del mondo reale. Il lavoro non pretende di aver risolto il problema della classificazione dei biscotti, né suggerisce un nuovo modo per preparare dolci migliori. Invece, offre un terreno di prova rigoroso. Dimostra che, mentre gli strumenti attuali sono eccellenti nel vedere o la chimica o lo spazio, la prossima generazione di intelligenza artificiale deve imparare a vederli insieme, proprio come farebbe un esperto umano, per navigare nella complessa, multi-stratificata realtà del mondo fisico.