One if by Land, Two if by Sea, Three if by Four Seas, and More to Come -- Values of Perception, Prediction, Communication, and Common Sense in Decision Making

Technische Zusammenfassung: Werte von Wahrnehmung, Vorhersage, Kommunikation und gesundem Menschenverstand bei der Entscheidungsfindung

Problemformulierung
Diese Arbeit befasst sich mit der Herausforderung, den Wert spezifischer kognitiver Operationen – Wahrnehmung, Vorhersage, Kommunikation und gesunder Menschenverstand (Common Sense) – im Kontext autonomer Entscheidungssysteme rigoros zu definieren und zu quantifizieren. Die Autoren formulieren ein generisches Entscheidungsproblem, bei dem ein Agent eine Aktion $u$ aus einem Raum \mathcal{\mathcal{U}} wählt, um den erwarteten Verlust $\mathbb{E}[\ell(X, Y, u)]$ zu minimieren. Hierbei repräsentiert $X$ einen zufälligen beobachtbaren Zustand, $Y$ einen zufälligen nicht beobachtbaren Zustand und $\ell$ eine Verlustfunktion, die von beiden Zuständen und der Aktion abhängt. Der Kern des Problems besteht darin, den quantitativen Nutzen des Erwerbs und der Nutzung verschiedener Arten von Wissen (Marginalverteilungen, gemeinsame Verteilungen, beobachtete Zustände oder nicht beobachtete Zustände) zu bestimmen, um den minimal erreichbaren erwarteten Verlust (Risiko) zu reduzieren.

Methodik
Die Arbeit verwendet einen Entscheidungstheorie-Rahmen, um den „Wert“ einer Operation als die Reduktion des Risikos zu definieren, die durch die Einbeziehung dieser Operation im Vergleich zu einem Basisszenario erreicht wird, in dem die Operation fehlt. Die Methodologie verläuft wie folgt:

1. Definitionen operationaler Werte:

   • Gesunder Menschenverstand (Common Sense): Definiert als der Wert des Wissens über die gemeinsame Verteilung $P_{X,Y}$ (statistische Abhängigkeit) im Vergleich zur Annahme von Unabhängigkeit ($P_X P_Y$). Er quantifiziert den Nutzen des Nachdenkens über Korrelationen ohne direkte Beobachtung.
   • Wahrnehmung (eng gefasst): Definiert als der Wert der Beobachtung von $X$ und des Handelns basierend darauf, ohne die Überzeugungen über $Y$ basierend auf $X$ zu aktualisieren (d. h. unter der Annahme, dass $Y$ unabhängig von $X$ ist).
   • Vorhersage (Prediction): Definiert als der Wert der Aktualisierung der Überzeugung über $Y$ basierend auf der Beobachtung von $X$ (unter Nutzung der Posterior-Verteilung $P_{Y|X}$) im Vergleich zum Handeln auf Basis von $X$, während die Abhängigkeit zu $Y$ ignoriert wird.
   • Wahrnehmung + Vorhersage: Der kombinierte Wert des Beobachtens von $X$ und des Vorhersagens von $Y$ basierend auf $X$.
   • Kommunikation: Definiert als der Wert des direkten Zugriffs auf den nicht beobachtbaren Zustand $Y$ (zusätzlich zu $X$), um die Entscheidung zu informieren.

2. Informationstheoretische Realisierung:
   Die Autoren bilden diese entscheidungstheoretischen Werte auf informationstheoretische Maße ab, indem sie einen spezifischen Fall betrachten, in dem die Verlustfunktion die negative Log-Likelihood ist ($\ell = -\log u(x,y)$). In diesem Kontext entsprechen den definierten Werten:

   • Gesunder Menschenverstand $\leftrightarrow$ Mutual Information $I(X; Y)$.
   • Wahrnehmung $\leftrightarrow$ Bedingte Entropie $H(X|Y)$.
   • Vorhersage $\leftrightarrow$ Mutual Information $I(X; Y)$.
   • Wahrnehmung + Vorhersage $\leftrightarrow$ Entropie $H(X)$.
   • Kommunikation $\leftrightarrow$ Bedingte Entropie $H(Y|X)$.

3. Funktionale Analyse:
   Das Paper analysiert die mathematischen Eigenschaften dieser Werte, insbesondere deren Konkavität und Konvexität in Bezug auf die zugrunde liegenden Wahrscheinlichkeitsverteilungen. Es nutzt entscheidungstheoretische Divergenzen (Verallgemeinerungen der Kullback-Leibler-Divergenz), um diese Eigenschaften zu beweisen.

4. Multi-Agenten-Erweiterung:
   Der Rahmen wird auf Szenarien mit $n$ Agenten erweitert. Die Autoren definieren die Bedeutung eines spezifischen Agenten basierend auf der Risikoreduktion, die durch das Beobachten und Vorhersagen dieses Agenten gewonnen wird, entweder isoliert oder sequenziell nach Berücksichtigung anderer Agenten.

Wichtigste Ergebnisse und Erkenntnisse

• Nicht-Negativität kombinierter Werte: Es wurde bewiesen, dass der Wert von Vorhersage allein, der Wert der Kommunikation und der kombinierte Wert von Wahrnehmung und Vorhersage immer nicht-negativ sind.
• Negativer Wert der Wahrnehmung: Eine kritische Erkenntnis ist, dass der Wert der Wahrnehmung ohne Vorhersage negativ sein kann. Das Paper demonstriert durch ein numerisches Beispiel (und ein Fahrszenario mit einem Lkw und einem verdeckten Fahrzeug), dass das Beobachten einer Variablen $X$ und das Handeln basierend darauf, ohne die Überzeugung über die abhängige Variable $Y$ zu aktualisieren, zu schlechteren Entscheidungen führen kann als das Handeln allein auf Basis von Vorwissen (gesunder Menschenverstand). Dies deutet darauf hin, dass rohe Sensordaten, wenn sie nicht durch Vorhersage kontextualisiert werden, schädlich sein können.
• Ordnungsabhängigkeit in Multi-Agenten-Systemen: In Multi-Agenten-Umgebungen ist die Bedeutung eines Agenten nicht absolut, sondern hängt von der Reihenfolge der Beobachtung ab. Das Paper liefert einen Greedy-Algorithmus, um die optimale Reihenfolge von Wahrnehmung und Vorhersage zur Maximierung der Risikoreduktion zu bestimmen, wobei ausschließlich die bekannte gemeinsame Verteilung und die Verlustfunktion genutzt werden.
• Mathematische Eigenschaften:
  • Der Wert von Wahrnehmung + Vorhersage ist konkav in der Marginalverteilung $P_X$ (für festes $P_{Y|X}$).
  • Der Wert der Kommunikation ist konkav in $P_{Y|X}$ (für festes $P_X$) und linear in $P_X$.
  • Die Werte von gesundem Menschenverstand und Vorhersage sind konvex in der bedingten Verteilung $P_{Y|X}$ (bei festen Marginalen).

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Arbeit einen rigorosen, formalen Weg bietet, um praktische Fragen beim Design autonomer Systeme zu beantworten, wie etwa:

• Ob das Beobachten und Vorhersagen eines spezifischen Agenten notwendig ist.
• Die relative Bedeutung verschiedener Agenten.
• Die optimale Sequenz für die Verarbeitung von Informationen aus mehreren Agenten.

Das Paper postuliert, dass diese definierten Größen Einblicke in die kognitiven und Neurowissenschaften bieten können, indem sie potenziell erklären, wie natürliche Entscheidungsträger Informationen aus verschiedenen Quellen nutzen. Ferner legen die Ergebnisse nahe, dass der in früherer Literatur gefundene „Wert von Information“ (z. B. Blackwell, Lindley, DeGroot) als ein Spezialfall des hier definierten kombinierten Wertes von Wahrnehmung und Vorhersage betrachtet werden kann. Die Arbeit schlägt zudem vor, dass diese theoretischen Werte als „Ground Truth“-Labels für das Training von Machine-Learning-Modellen dienen könnten, die Agenten in ressourcenbeschränkten Umgebungen priorisieren, und damit eine Lücke schließen, in der aktuelle Methoden oft auf menschliche Labels oder heuristische Regeln angewiesen sind.

Der Titel und die Rahmung sind inspiriert von einem Vortrag von Prof. Robert Gallager, der eine Parallele zum historischen Signalsystem („One if by Land, Two if by Sea“) zieht, um die Hierarchie des Informationswertes bei der Entscheidungsfindung zu illustrieren.