One if by Land, Two if by Sea, Three if by Four Seas, and More to Come -- Values of Perception, Prediction, Communication, and Common Sense in Decision Making

Sintesi Tecnica: Valori di Percezione, Predizione, Comunicazione e Senso Comune nel Processo Decisionale

Formulazione del Problema
Questo lavoro affronta la sfida di definire e quantificare rigorosamente il valore di specifiche operazioni cognitive — percezione, predizione, comunicazione e senso comune — all'interno del contesto dei sistemi decisionali autonomi. Gli autori inquadrano un problema decisionale generico in cui un agente seleziona un'azione $u$ da uno spazio $\mathcal{U}$ per minimizzare la perdita attesa $\mathbb{E}[\ell(X, Y, u)]$. Qui, $X$ rappresenta uno stato osservabile casuale, $Y$ rappresenta uno stato non osservabile casuale, e $\ell$ è una funzione di perdita dipendente da entrambi gli stati e dall'azione. Il problema centrale consiste nel determinare il beneficio quantitativo dell'acquisizione e dell'utilizzo di diversi tipi di conoscenza (distribuzioni marginali, distribuzioni congiunte, stati osservati o stati non osservati) per ridurre la perdita minima raggiungibile (rischio).

Metodologia
Il documento adotta un quadro decisionale per definire il "valore" di un'operazione come la riduzione del rischio ottenuta incorporando tale operazione rispetto a un caso base in cui l'operazione è assente. La metodologia procede come segue:

1. Definizioni dei Valori Operativi:

   • Senso Comune: Definito come il valore della conoscenza della distribuzione congiunta $P_{X,Y}$ (dipendenza statistica) rispetto all'assunzione di indipendenza ($P_X P_Y$). Quantifica il beneficio del ragionamento sulle correlazioni senza osservazione diretta.
   • Percezione (Stretta): Definita come il valore dell'osservazione di $X$ e dell'agire sulla base di esso, senza aggiornare le credenze su $Y$ basandosi su $X$ (ovvero, trattando $Y$ come indipendente da $X$).
   • Predizione: Definita come il valore dell'aggiornamento della credenza su $Y$ basato sull'osservazione di $X$ (utilizzando la distribuzione a posteriori $P_{Y|X}$) rispetto all'agire su $X$ ignorando la dipendenza da $Y$.
   • Percezione + Predizione: Il valore combinato dell'osservazione di $X$ e della predizione di $Y$ basata su $X$.
   • Comunicazione: Definita come il valore dell'accesso diretto allo stato non osservabile $Y$ (in aggiunta a $X$) per informare la decisione.

2. Realizzazione Teoria dell'Informazione:
   Gli autori mappano questi valori decisionali in misure della teoria dell'informazione considerando un caso specifico in cui la funzione di perdita è il logaritmo negativo della verosimiglianza ($\ell = -\log u(x,y)$). In questo contesto, i valori definiti corrispondono a:

   • Senso Comune $\leftrightarrow$ Informazione Mutua $I(X; Y)$.
   • Percezione $\leftrightarrow$ Entropia Condizionale $H(X|Y)$.
   • Predizione $\leftrightarrow$ Informazione Mutua $I(X; Y)$.
   • Percezione + Predizione $\leftrightarrow$ Entropia $H(X)$.
   • Comunicazione $\leftrightarrow$ Entropia Condizionale $H(Y|X)$.

3. Analisi Funzionale:
   Il documento analizza le proprietà matematiche di questi valori, specificamente la loro concavità e convessità rispetto alle distribuzioni di probabilità sottostanti. Utilizza divergenze decisioni-teoriche (generalizzazioni della divergenza di Kullback-Leibler) per dimostrare tali proprietà.

4. Estensione Multi-Agente:
   Il quadro viene esteso a scenari che coinvolgono $n$ agenti. Gli autori definiscono l'importanza di un agente specifico in base alla riduzione del rischio ottenuta osservando e predicendo tale agente, sia in isolamento che sequenzialmente dopo che altri agenti siano stati presi in considerazione.

Risultati Chiave e Conclusioni

• Non Negatività dei Valori Combinati: Si dimostra che il valore della sola predizione, il valore della comunicazione e il valore combinato di percezione e predizione sono sempre non negativi.
• Valore Negativo della Percezione: Un risultato critico è che il valore della percezione senza predizione può essere negativo. Il documento dimostra, attraverso un esempio numerico (e uno scenario di guida coinvolgente un camion e un veicolo occluso), che osservare una variabile $X$ e agire su di essa senza aggiornare la credenza sulla variabile dipendente $Y$ può portare a decisioni peggiori rispetto all'agire esclusivamente sulla conoscenza a priori (senso comune). Ciò suggerisce che i dati sensoriali grezzi, se non correttamente contestualizzati attraverso la predizione, possono essere dannosi.
• Dipendenza dall'Ordine nei Sistemi Multi-Agente: Nei contesti multi-agente, l'importanza di un agente non è assoluta ma dipende dall'ordine di osservazione. Il documento fornisce un algoritmo greedy per determinare l'ordine ottimale di percezione e predizione per massimizzare la riduzione del rischio, basandosi esclusivamente sulla distribuzione congiunta nota e sulla funzione di perdita.
• Proprietà Matematiche:
  • Il valore di percezione + predizione è concavo nella distribuzione marginale $P_X$ (per $P_{Y|X}$ fissata).
  • Il valore della comunicazione è concavo in $P_{Y|X}$ (per $P_X$ fissata) ed è lineare in $P_X$.
  • I valori di senso comune e predizione sono convessi nella distribuzione condizionale $P_{Y|X}$ (per marginali fissi).

Significato e Rivendicazioni
Gli autori affermano che questo lavoro fornisce un percorso formale e rigoroso per rispondere a domande pratiche nella progettazione di sistemi autonomi, quali:

• Se sia necessario osservare e predire un agente specifico.
• L'importanza relativa di diversi agenti.
• La sequenza ottimale per l'elaborazione delle informazioni da parte di più agenti.

Il documento pone che queste quantità definite offrano spunti alle scienze cognitive e neurali, spiegando potenzialmente come i decisori naturali utilizzino le informazioni da diverse fonti. Inoltre, i risultati suggeriscono che il "valore dell'informazione" trovato nella letteratura precedente (ad es. Blackwell, Lindley, DeGroot) possa essere visto come un caso speciale del valore combinato di percezione e predizione qui definito. Il lavoro propone inoltre che questi valori teorici potrebbero servire come etichette "ground truth" per addestrare modelli di machine learning che diano priorità agli agenti in ambienti con risorse limitate, colmando un vuoto dove i metodi attuali si affidano spesso a etichette umane o regole euristiche.

Il titolo e l'inquadramento sono ispirati a un discorso del Prof. Robert Galler, tracciando un parallelo con il sistema storico dei segnali ("Uno se via terra, due se via mare") per illustrare la gerarchia del valore dell'informazione nel processo decisionale.