Immagina di cercare di prevedere il futuro di una macchina complessa, come un'auto a guida autonoma o un robot che raccoglie frutta. Per farlo, gli ingegneri utilizzano una "mappa" di probabilità chiamata modello di Markov. Pensa a questa mappa come a un enorme gioco da tavolo dove ogni casella è uno stato in cui la macchina può trovarsi e i lanci dei dadi determinano come si sposta da una casella all'altra. Il problema è che, per giocare correttamente, devi sapere esattamente quanto è probabile che i dadi cadano su ogni numero. Nel mondo reale, questi "dadi" sono le probabilità di transizione — come la possibilità che il braccio di un robot scivoli o che un server si blocchi.

Tradizionalmente, per riempire questi numeri, gli esperti devono indovinare le probabilità esatte di ogni singolo piccolo movimento che la macchina potrebbe compiere. È come chiedere a uno chef di indovinare la temperatura esatta di ogni singolo chicco di riso in una pentola solo per sapere quando la cena è pronta. Questo è incredibilmente difficile e, se l'ipotesi è anche solo leggermente errata, l'intera previsione sull'affidabilità o sulla velocità della macchina può essere sbagliata. È qui che entra in gioco l'apprendimento bayesiano. È un modo matematico per aggiornare le proprie ipotesi man mano che si ottengono nuove informazioni, ma richiede comunque un punto di partenza, o un "prior". Se questa ipotesi iniziale è errata, anche la risposta finale sarà errata.

Entra in scena EPIK, un nuovo approccio introdotto da Simos Gerasimou e Xingyu Zhao. Invece di costringere gli esperti a indovinare i piccoli, invisibili lanci di dadi all'interno della macchina, EPIK chiede loro di descrivere i grandi risultati osservabili che possono effettivamente vedere. È come chiedere allo chef: "Quanto tempo ci vuole di solito per cuocere il riso?" o "Quanto spesso la pentola trabocca?", piuttosto che chiedere la temperatura di ogni singolo chicco. I ricercatori hanno scoperto che, utilizzando queste osservazioni di alto livello, legate al mondo reale, potevano lavorare a ritroso per determinare i piccoli, nascosti lanci di dadi con una precisione molto maggiore. Hanno testato questo metodo su un robot per la raccolta della frutta e su un sistema di trading di cambi valuta, dimostrando che questo metodo non solo funziona, ma aiuta anche a prevedere cose difficili da misurare, come il consumo di energia o guasti rari su cui non si hanno ancora dati.

La Grande Idea: Indovinare i Dadi Osservando il Gioco

Il documento affronta un problema complicato dell'ingegneria del software: come possiamo assicurarci che i nostri modelli informatici di sistemi complessi siano accurati? Quando costruiamo un modello di un robot o di un servizio cloud, utilizziamo la matematica per prevedere cose come "Si romperà?" o "Quanto velocemente finirà?". Ma queste previsioni sono buone solo quanto i numeri che forniamo loro. Di solito, questi numeri sono le probabilità che il sistema si sposti da uno stato all'altro.

Gli autori sostengono che chiedere agli esperti di indovinare queste specifiche probabilità a basso livello è come chiedere a una persona di indovinare la velocità esatta del vento su ogni singola foglia di un albero solo per prevedere se un aquilone volerà. È un dettaglio eccessivo e gli esperti spesso sbagliano o non hanno i dati. Se i numeri di partenza sono errati, l'intero processo di verifica fallisce, portando a decisioni ingegneristiche sbagliate.

EPIK: Il "Detective al Contrario"

Il documento introduce EPIK (Eliciting Prior Knowledge), uno strumento intelligente che ribalta la prospettiva. Invece di chiedere agli esperti: "Qual è la probabilità che il robot fallisca nel raccogliere un frutto?", EPIK chiede: "In base alla tua esperienza, quanto spesso il robot completa con successo una missione e quanto tempo ci mette solitamente?".

Queste sono proprietà a livello di sistema. Sono i risultati macroscopici che gli esperti comprendono realmente e per i quali hanno dati. EPIK tratta questi risultati noti come indizi. Utilizza un processo matematico chiamato apprendimento bayesiano per lavorare a ritroso da questi grandi indizi per scoprire le piccole, nascoste probabilità che li hanno causati.

Ecco come funziona il processo, passo dopo passo:

1. L'Impostazione: Immagina un robot che raccoglie frutta. Ha uno "stato" in cui si posiziona, uno stato in cui raccoglie e uno stato in cui decide di riprovare o arrendersi. La precisa probabilità che fallisca nel raccogliere un frutto è sconosciuta (chiamiamola "dado nascosto").
2. Gli Indizi: Gli esperti dicono a EPIK: "Sappiamo da 200 missioni passate che il robot ha successo nell'80% dei casi e impiega circa 4,75 secondi in media". Questi sono i proprietà informate da PK (Prior Knowledge-informed).
3. L'Ingegneria Inversa: EPIK esegue una ricerca complessa (usando algoritmi evolutivi, che sono come versioni digitali della selezione naturale) per trovare l'insieme dei lanci di dadi nascosti che meglio produrrebbe quei risultati dell'80% di successo e 4,75 secondi. Non trova solo una risposta; trova un'intera famiglia di possibili risposte che si adattano agli indizi.
4. Il Risultato: Una volta che EPIK ha capito i lanci di dadi nascosti basandosi sugli indizi noti, può usarli per prevedere cose che non conosciamo ancora. Queste sono chiamate proprietà elusive. Ad esempio, nessuno ha mai misurato il consumo di batteria del robot per questo compito specifico. Ma ora che EPIK sa come si muove il robot, può calcolare l'uso probabile della batteria, anche se nessuno lo ha mai registrato prima.

Cosa hanno mostrato gli esperimenti

I ricercatori hanno testato EPIK in due scenari reali: il robot per la raccolta della frutta e un sistema di trading di cambi valuta. Hanno creato diverse versioni di questi sistemi con vari livelli di complessità e variabili sconosciute.

• Accuratezza: Quando hanno confrontato le previsioni di EPIK con la "verità di base" (i valori matematicamente corretti), i risultati sono stati incredibilmente vicini. La differenza tra la supposizione di EPIK e la risposta reale era minuscola (meno di 0,00389 nei casi di test). Ciò suggerisce che EPIK può reverse-engineerare in modo affidabile la meccanica nascosta di un sistema semplicemente guardando il quadro generale.
• Il Test del "Conflitto": Il team ha anche testato cosa succede se gli esperti forniscono consigli contrastanti (ad esempio, un esperto dice che il robot è molto affidabile, un altro dice che è lento). Hanno scoperto che quando gli indizi erano contraddittori, EPIK faticava a trovare una corrispondenza perfetta e l'"errore" nelle sue supposizioni aumentava. Questo è un bene, perché funge da segnale di avvertimento: se gli indizi non coincidono, il modello sa che c'è qualcosa di sbagliato nei dati di input.
• La Vittoria sulle "Proprietà Elusive": La parte più entusiasmante è stata la verifica delle proprietà "elusive". Nel test del robot per la raccolta della frutta, avevano i dati sul tasso di successo e sul tempo, ma nessun dato sul consumo di energia. EPIK ha usato i dati noti per stimare l'uso dell'energia. La distribuzione risultante dell'uso dell'energia era una supposizione ragionevole e ben motivata che i decisori potevano effettivamente usare, mentre senza EPIK, avrebbero dovuto fare una supposizione cieca o ignorare completamente il problema.

Perché questo è importante

Il documento non sostiene di aver risolto ogni problema di verifica del software, ma offre un nuovo modo potente per iniziare la conversazione. Suggerisce che non dobbiamo essere esperti nei dettagli microscopici di un sistema per costruire un buon modello; dobbiamo solo essere esperti nei risultati del sistema.

Spostando l'attenzione dal "indovinare i dadi" all' "osservare il gioco", EPIK rende più facile costruire modelli affidabili per sistemi complessi come auto a guida autonoma, dispositivi medici e servizi cloud. Trasforma il compito difficile di definire ogni singola probabilità in un compito più gestibile di descrizione di ciò che già sappiamo riguardo al comportamento del sistema nel mondo reale. E per le cose che non sappiamo ancora, ci offre un modo matematicamente fondato per fare una supposizione istruita, invece di una cieca.