It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

In der Welt der künstlichen Intelligenz werden Maschinen oft darauf trainiert, Entscheidungen zu treffen, indem sie einem einzigen Ziel nachjagen, wie etwa ein Saugroboter, der einen Boden reinigt, oder ein Programm, das ein Schachspiel gewinnt. Doch die reale Welt ist selten so einfach. Oft muss ein Agent mehrere konkurrierende Ziele gleichzeitig jonglieren, wie zum Beispiel ein selbstfahrendes Auto, das versucht, ein Ziel schnell zu erreichen und gleichzeitig sicher zu fahren und Energie zu sparen. Wenn diese Ziele im Konflikt stehen, muss die Maschine einen Weg finden, zu entscheiden, welches Ziel wichtiger ist. Darüber hinaus können sich die Konsequenzen einer Entscheidung über verschiedene Zeiträume hinweg entfalten. Ein kleiner Fehler kann ein unmittelbares Problem verursachen, während eine Serie kleiner Fehler erst Monate später zu einer Katastrophe führen kann. Jahrelang haben Forscher verschiedene mathematische Werkzeuge entwickelt, um solche Situationen zu bewältigen, aber sie haben dabei im Allgemeinen jeden Zeitrahmen als ein separates Problem behandelt, wobei sie für unmittelbare Risiken eine andere Methode wählten als für langfristige Durchschnitte.

Eine neue Studie stellt diese Trennung infrage und argumentt, dass Entscheidungen in der realen Welt von einem Agenten erfordern, sich gleichzeitig um unmittelbare, mittelfristige und langfristige Konsequenzen zu sorgen. Die Forscher, die in Institutionen in Belgien, Brasilien und Australien tätig sind, zeigen auf, dass das Verlassen auf nur eine dieser traditionellen Methoden zu gefährlichen oder ineffizienten Ergebnissen führen kann, wenn mehrere Zeitskalen involviert sind. Durch die Simulation eines Szenarios, bei dem Arbeiter giftigen Substanzen ausgesetzt sind, zeigen sie, dass eine Strategie, die darauf ausgelegt ist, die langfristige durchschnittliche Belastung zu schützen, versehentlich einen Arbeiter einem kurzfristigen Risikoanstieg opfern könnte, während eine Strategie, die auf unmittelbare Sicherheit fokussiert ist, eine langsam entstehende Gesundheitskrise ignorieren könnte. Ihre Arbeit legt nahe, dass wir, um wirklich sichere und effektive künstliche Intelligenz zu bauen, neue Denkweisen benötigen, die diese verschiedenen Uhren gleichzeitig ausbalancieren können.

Der Kern des Problems liegt darin, wie wir „Glückseligkeit“ oder „Nutzen“ für einen Agenten messen. In vielen Standard-KI-Systemen berechnet die Maschine die durchschnittliche Belohnung, die sie über einen langen Zeitraum erwartet, und versucht, diese Zahl zu maximieren. Dies funktioniert gut für eine Fabrik, die täglich tausende Videodateien verarbeitet; wenn der durchschnittliche Stromverbrauch und die Geschwindigkeit gut sind, gilt das System als erfolgreich, selbst wenn eine spezifische Datei zu lange gedauert hat. Dieses Vorgehen scheitert jedoch, wenn ein einziges schlechtes Ergebnis katastrophal ist. Betrachten Sie einen Patienten, der eine medizinische Behandlung durchläuft. Dieser Patient erlebt die Behandlung nur einmal. Er kümmert sich nicht um das Durchschnittsergebnis von tausenden anderen Patienten; er kümmert sich um sein eigenes spezifisches Ergebnis. Wenn die Behandlung ein nicht-lineares Risiko aufweist – das heißt, eine kleine Erhöhung der Dosierung verursacht einen massiven Anstieg der Gefahr – verbirgt die Durchschnittsberechnung das wahre Risiko. Der Patient benötigt ein System, das das spezifische Ergebnis seiner eigenen, einzelnen Reise bewertet, nicht den Durchschnitt vieler Reisen.

Es gibt einen dritten Weg, die Zeit zu betrachten, der sich auf den nächsten unmittelbar bevorstehenden Schritt konzentriert. Stellen Sie sich vor, ein Auto prallt gegen eine Wand. Die Gefahr einer Verletzung hängt nicht-linear von der Aufprallkraft ab. Ein harter Aufprall ist weitaus gefährlicher als ein weicher, und das Risiko summiert sich nicht einfach über die Zeit auf; hundert sanfte Stöße entsprechen nicht einem harten Crash. In dieser Sichtweise muss das System das Risiko jedes einzelnen Augenblicks bewerten, während es geschieht, und sofort eine Strafe anwenden, wenn eine gefährliche Kombination von Faktoren auftritt. Jahrzehntelang haben Forscher diese drei Perspektiven – langfristige Durchschnitte, Ergebnisse einer einzelnen Reise und unmittelbare Schritt-für-Schritt-Risiken – als separate Werkzeuge für separate Aufgaben behandelt. Die Autoren dieses neuen Papers argumentieren, dass diese Trennung ein Fehler ist. Sie schlagen vor, dass viele komplexe Probleme einen Agenten erfordern, der sich gleichzeitig um alle drei Zeitskalen sorgt.

Um diesen Punkt zu beweisen, erstellten die Forscher eine vereinfachte Simulation, die drei Mitarbeiter und drei verschiedene Aufgaben mit jeweils unterschiedlichem Toxizitätsgrad beinhaltete. Das Ziel war es, diese Arbeiter über einen Zeitraum von einem Monat den Aufgaben zuzuweisen und sie gleichzeitig sicher zu halten. Die Toxizität der Arbeit war nicht nur eine einfache Zahl; sie hatte unterschiedliche Auswirkungen, je nachdem, wann sie gemessen wurde. Es gab ein unmittelbares Risiko einer hohen Dosis innerhalb eines einzelnen Tages, ein mittelfristiges Risiko der Gesamtexposition über den Monat und ein langfristiges Risiko eines kumulativen Schadens über viele Monate. Das Team führte die Simulation unter Verwendung der drei traditionellen Methoden separat durch und versuchte dann, sie zu kombinieren.

Wenn das System nur auf den langfristigen Durchschnitt fokussierte, fand es eine Strategie, die zwei erfahrene Arbeiter durch ständige Rotation sicher hielt, aber effektiv den dritten, weniger erfahrenen Arbeiter opferte, indem es ihn wiederholt den gefährlichsten Aufgaben zuwies. Die Logik war, dass das durchschnittliche Risiko für die Gruppe niedrig war, wessoeben das System ignorierte, dass eine Person überlastet wurde. Wenn das System sich nur auf das Ergebnis der einzelnen Reise konzentrierte, lernte es, die Arbeiter häufig zu rotieren, um sicherzustellen, dass niemand jemals eine gefährlich hohe Gesamtdosis für diesen spezifischen Monat erfährt. Dies hielt alle relativ sicher, führte aber zu viel Wechselarbeit, was möglicherweise ineffizient ist. Wenn das System sich nur auf das unmittelbare Schritt-für-Schritt-Risiko konzentrierte, vermied es den Wechsel der Arbeiter vollständig und bevorzugte es, sie auf Aufgaben zu lassen, die ihrem Können entsprachen, was ein sicherer, aber starrer Ansatz war.

Das aufschlussreichste Ergebnis kam, als die Forscher versuchten, für alle drei Zeitskalen gleichzeitig zu optimieren. Sie verwendeten eine Methode, die die unmittelbaren, monatlichen und langfristigen Risiken in ein einziges Ziel kombinierte. Die resultierende Strategie war eine Mischung der anderen, doch sie offenbarte einen kritischen Fehler beim Versuch, diese konkurrierenden Uhren ohne ein neues Framework auszubalancieren. Das System neigte erneut dazu, den am wenigsten erfahrenen Arbeiter zu opfern, indem es ihm die härtesten Aufgaben zuwies, um die anderen sowohl vor unmittelbaren Spitzen als auch vor der langfristigen Akkumulation zu schützen. Die Simulation zeigte, dass das bloße Versuchen, die verschiedenen Zeitskalen herauszumitteln, nicht funktioniert; die nicht-lineare Natur der Risiken bedeutet, dass der Schutz einer Zeitskala unbeabsichtigt eine andere gefährden kann. Die Forscher fanden heraus, dass die Strategien, die für eine Zeitskala gut funktionierten, oft die schlechtesten Entscheidungen waren, wenn alle Skalen zusammen betrachtet wurden.

Dieses Ergebnis verdeutlicht eine signifikante Lücke in der aktuellen Forschung zur künstlichen Intelligenz. Während wir über mächtige Werkzeuge verfügen, um langfristige Durchschnitte oder unmittelbare Risiken zu handhaben, fehlt uns eine umfassende Methode, um sie gemeinsam zu bewältigen. Die Autoren schlagen vor, dass zukünftige Systeme die Verteilung möglicher Ergebnisse lernen müssen, also nicht nur das durchschnittliche Ergebnis verstehen, sondern das volle Spektrum dessen, was über verschiedene Zeitfenster hinweg geschehen könnte. Sie räumen ein, dass dies eine schwierige Herausforderung ist, da die Änderung einer Strategie, um die Sicherheit auf einer Zeitskala zu verbessern, die Sicherheit auf einer anderen verschlechtern kann, was eine komplexe Landschaft von Kompromissen schafft. Sie glauben jedoch, dass die Entwicklung dieser kombinierten Ansätze essenziell für reale Anwendungen ist, von der Steuerung der Strahlentherapie in der Medizin bis hin zur Optimierung des Kundenservice in der Wirtschaft, wo die Sicherheit und Zufriedenheit von Einzelpersonen gegen die Effizienz des Ganzen abgewogen werden muss.

Die Studie kommt zu dem Schluss, dass die Art und Weise, wie wir Maschinen derzeit beibringen, Entscheidungen zu treffen, zu eng gefasst ist. Indem wir die Zeit als eine einzige Dimension behandeln oder eine der Perspektiven über die anderen stellen, riskieren wir, Systeme zu erschaffen, die in der Theorie sicher, aber in der Praxis gefährlich sind. Der Weg nach vorn erfordert neue Algorithmen, die in der Lage sind, mehrere Zeitskalen gleichzeitig im Blick zu behalten und sicherzustellen, dass ein Agent nicht nur einen Durchschnitt maximiert oder einen einzelnen schlechten Tag vermeidet, sondern das volle Gewicht seines Handelns über die gesamte Spanne seiner Existenz hinweg wirklich versteht. Dies ist nicht nur eine technische Anpassung, sondern eine notwendige Evolution, um sicherzustellen, dass künstliche Intelligenz die komplexe, vielschichtige Realität des menschlichen Lebens navigieren kann.