📄 animal behavior and cognition

Resource depletion accelerates rate learning but not composition learning in patch foraging

Dieses Papier präsentiert ein normatives Bayes-Modell, das zeigt, dass Ressourcenerschöpfung zwar das Lernen lokaler Ressourcenraten innerhalb von Patches beschleunigt, jedoch nicht das langsamere, stichprobenabhängige Lernen der globalen Patch-Zusammensetzung beschleunigt, was zu einer Divergenz zwischen belohnungsmaximierenden und informationssuchenden Strategien führt, die die optimalen Abwanderungsregeln beim Foraging prägt.

Ursprüngliche Autoren: Kilpatrick, Z. P., El Hady, A.

Veröffentlicht 2026-08-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kilpatrick, Z. P., El Hady, A.

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Eichhörnchen in einem brandneuen Wald. Sie wissen nicht, wo die besten Nussbäume stehen, und Sie wissen auch nicht, wie viele verschiedene Baumarten es gibt. Sie müssen zwei Dinge gleichzeitig tun: Jetzt sofort Nahrung finden, um zu fressen, und gleichzeitig die Karte des Waldes verstehen, um später besser fressen zu können. Dies ist ein klassisches Rätsel des Tierverhaltens, das man „Nahrungssuche“ (Foraging) nennt. Wissenschaftler untersuchen schon lange, wie Tiere entscheiden, wann sie an einem Ort aufhören zu fressen und zum nächsten übergehen. Die alte Faustregel, der sogenannte „Marginal Value Theorem“, geht davon aus, dass das Tier den Wald bereits perfekt kennt. In der Realität sind Tiere jedoch meistens ahnungslos, wenn sie ankommen. Sie müssen die Regeln lernen, während sie das Spiel spielen. Bei diesem Lernen geht es nicht nur darum, sich daran zu erinnern, wo das Futter ist; es geht darum, die verborgene Struktur der Welt zu verstehen: Wie reich sind die Patches (Futterstellen), wie oft tauchen sie auf und wie schnell erschöpft sich die Nahrung?

Hier setzt eine neue Studie von Zachary Kilpatrick und Ahmed El Hady an. Sie bauten ein mathematisches Modell, um zu beobachten, wie ein intelligentes Tier lernt, während es frisst. Sie entdeckten etwas Überraschendes: Der Akt des Essens selbst ist ein geheimer Lehrer. Während ein Tier aus einem Patch frisst, wird es immer schwieriger, Nahrung zu finden. Dieses Verlangsamen des „Nachtröpfelns“ der Nahrung verrät dem Tier genau, wie reich der Patch ursprünglich war. Es ist, als würde man einem Lied lauschen, das immer langsamer wird; das Muster der Verlangsamung offenbart das ursprüngliche Tempo. Dieser Trick funktioniert jedoch nur, um über einen Patch zur Zeit zu lernen. Er hilft dem Tier nicht dabei, herauszufinden, welcher Prozentsatz des gesamten Waldes aus reichen Patches besteht. Um das zu lernen, muss das Tier sich bewegen, selbst wenn das bedeutet, eine gute Mahlzeit vorzeitig zu verlassen. Die Studie zeigt, dass Tiere, die versuchen, ihren Magen zu füllen (Belohnung), und Tiere, die versuchen, die Karte zu lernen (Information), sich tatsächlich unterschiedlich verhalten, besonders wenn sie neu in dem Gebiet sind.

Die große Waldkarte und die leere Schüssel

Tauchen wir in den Wald ein. Stellen Sie sich vor, Sie sind ein Nahrungssuchender, und Ihre Welt besteht aus „Patches“ – denken Sie an riesige, magische Schüsseln voller Früchte, die über ein Feld verstreut sind. Einige Schüsseln sind tief und voll (hohe Ausbeute), andere sind flach und fast leer (geringe Ausbeute). Sie wissen nicht, welches was ist, wenn Sie ankommen. Sie wissen nur, dass die Nahrung nicht in einem stetigen Tempo bleibt, sobald Sie anfangen zu essen. Jedes Mal, wenn Sie ein Stück nehmen, leert sich die Schüssel ein wenig mehr, und das nächste Stück dauert ein winziges Stück länger, um gefunden zu werden. Dies nennt man Depletion (Erschöpfung).

In der Vergangenheit dachten Wissenschaftler, Depletion sei lediglich ein Kostenfaktor. Es bedeutete, dass man härter arbeiten musste, um weniger Nahrung zu bekommen, wescht man die Schüssel verlassen sollte, sobald sie langsam wurde. Aber Kilpatrick und El Hady erkannten, dass diese Verlangsamung tatsächlich ein Hinweis ist.

Denken Sie an eine Uhr, deren Batterie zur Neige geht. Wenn Sie ein Ticken hören, das gleichmäßig ist, können Sie nicht sagen, ob es eine brandneue Batterie ist oder eine alte, die schon seit Stunden läuft. Aber wenn Sie ein Ticken hören, das immer langsamer wird, können Sie genau herausfinden, mit wie viel Energie sie gestartet ist. Das Muster der Verlangsamung legt die Wahrheit fest. In ihren Simulationen fanden sie heraus, dass ein Tier, wie reich ein spezifischer Patch ist, viel schneller lernt, wenn der Patch sich erschöpft (depleting), als wenn es eine magische Schüssel wäre, die niemals leer wird. Der „Abstand“ zwischen den Früchten erzählt die Geschichte.

Die zwei verschiedenen Ziele: Magen gegen Gehirn

Hier wird es knifflig. Ein Tier hat zwei Ziele, und diese bekämpfen sich manchmal.

Das Magen-Ziel (Belohnungssuche): „Ich will jetzt so viel wie möglich essen.“
Das Gehirn-Ziel (Informationssuche): „Ich will die Karte des Waldes lernen, damit ich später klüger bin.“

In einem Wald, in dem jeder Patch gleich ist (ein „homogener“ Wald), stimmen Magen und Gehirn meistens überein: Bleib in der Schüssel, bis sie fast leer ist. Aber die Studie fand eine subtile Unstimmigkeit. Wenn ein Tier rein darauf aus ist, die Rate der Nahrungsabgabe zu lernen, bleibt es vielleicht ein winziges Stück länger als der Magen möchte, nur um das letzte, perfekte Stück an Daten zu erhalten.

Aber das wahre Drama spielt sich in einem gemischten Wald mit sowohl reichen als als auch armen Patches ab (eine „binäre“ Umgebung):

Der Magen will so lange wie möglich in den reichen Schüsseln bleiben, um die meiste Frucht zu bekommen.
Das Gehirn erkennt, dass das Verweilen in einer reichen Schüssel ihm nichts über die armen Schüsseln lehrt. Um die Karte zu lernen, muss es verschiedene Arten von Schüsseln besuchen.

Deshalb beginnt das „Gehirn“-Tier, die reichen Schüsseln vorzeitig zu verlassen. Es opfert ein paar Bissen Frucht, um eine arme Schüssel aufzusuchen und zu prüfen, ob sie tatsächlich arm ist. Es ist, als würde ein Schüler die letzten Minuten eines spannenden Films verpassen, um in die Bibliothek zu gehen, weil er wissen muss, ob die Bibliothek das Buch hat, das er für morgen braucht. Die Studie zeigt, dass dieses „Unter-Ernten“ (Nahrung zurücklassen) eine rationale Strategie zum Lernen ist und kein Fehler.

Die Magie der sich regenerierenden Patches

Die Forscher untersuchten auch, was passiert, wenn der Wald besonders ist: die Schüsseln füllen sich zwischen den Besuchen wieder auf. Stellen Sie sich einen Garten vor, in dem Sie jeden Tag denselben Rosenstrauch besuchen können.

Wenn die Büsche langsam nachwachsen, muss das Tier überall herumwandern, um Nahrung zu finden. Es lernt die gesamte Karte kennen.
Wenn die Büsche schnell nachwachsen, findet das Tier ein paar reiche Büsche und hüpft einfach in einer Schleife zwischen ihnen hin und her. Es wird zum Experten für diese spezifischen Büsche, bleibt aber gegenüber dem Rest des Waldes völlig ignorant. Die Studie legt nahe, dass in schnell regenerierenden Welten das „Magen“-Tier an ein paar reichen Stellen hängen bleibt und aufhört zu explorieren, während das „Gehirn“-Tier weiter wandert, um sicherzustellen, dass es keinen besseren Platz übersehen hat.

Zählen vs. Zeitmessen: Der geheime Wechsel

Schließlich fragte die Studie: Was ist die beste Regel, wann man gehen sollte? Soll das Tier zählen, wie viele Stücke Frucht es gegessen hat, oder sollte es die Zeit messen, die seit dem letzten Stück vergangen ist?

Die Antwort hängt davon ab, wie unterschiedlich die Patches sind.

Wenn alle Patches etwa gleich sind, sollte das Tier zählen. „Ich werde 5 Stücke essen und dann gehen.“
Wenn die Patches sehr verschieden sind (einige sind super reich, andere sind schrecklich), sollte das Tier die Zeit messen. „Wenn ich eine Weile nichts gefunden habe, muss dies ein schlechter Patch sein, also gehe ich.“

Die Forscher fanden einen spezifischen Wendepunkt: Wenn der Unterschied in der Reichhaltigkeit zwischen den besten und den schlechtesten Patches mehr als etwa 25 % (ein Viertel) beträgt, sollte das Tier vom Zählen zum Zeitmessen wechseln. Es ist ein kluger Wechsel, der dem Tier hilft, zu vermeiden, Zeit in einem schrecklichen Patch zu verschwenden.

Das Fazente Fazit

Diese Arbeit nutzt Mathematik und Computersimulationen, um zu zeigen, dass Lernen ein vielschichtiger Prozess ist. Das Essen von Nahrung lehrt dich etwas über den aktuellen Ort, aber das Umherziehen lehrt dich etwas über die ganze Welt. Die Erschöpfung (Depletion) ist ein hilfreicher Lehrer für den aktuellen Ort, hilft dir aber nicht, das große Ganze zu verstehen.

Die wichtigste Erkenntung ist, dass Tiere (und vielleicht auch wir!) nicht einfach nur gedankenlose Maschinen sind, die essen, bis sie satt sind. Sie balancieren einen Kompromiss zwischen dem Erhalt von Nahrung im Hier und Jetzt und dem Lernen der Regeln für später aus. Manchmal ist das Klügste, was man tun kann, eine gute Mahlzeit vorzeitig zu verlassen, nur um sicherzuge stellen, dass man nicht etwas noch Besseres anderswo übersieht. Und solange die Vermutung des Tier über die Geschwindigkeit der Nahrungserschöpfung in etwa richtig ist, schlägt dieser kluge, modellbasierte Ansatz das bloße Raten und Reagieren auf Belohnungen jedes Mal.

Technische Zusammenfassung: Ressourcenerschöpfung beschleunigt das Lernen der Rate, aber nicht das Lernen der Zusammensetzung beim Patch-Foraging

Problemstellung
Das Foraging (Nahrungssuche) ist ein hierarchisches Inferenzproblem, bei dem ein Tier gleichzeitig eine Ressourcen-Patch ausbeuten und die Struktur der Umgebung lernen muss, die diese Patches generiert. Die klassische Foraging-Theorie, einschließlich des Marginal Value Theorem, geht typischerweise davon aus, dass der Forager über die volle Kenntnis der Umweltstatistiken (z. B. die Verteilung der Patch-Typen und deren Begegnungsraten) bei der Ankunft verfügt. In neuartigen Umgebungen müssen Tiere diese Parameter jedoch durch Exploration inferieren. Diese Arbeit adressiert die Lücke im Verständnis darüber, wie der physikalische Prozess der Ressourcenerschöpfung – wobei jede Nahrungsaufnahme die nachfolgende Begegnungsrate innerhalb eines Patches senkt – das Lernen zweier unterschiedlicher Umwelteigenschaften formt: der Begegnungsrate innerhalb eines spezifischen Patch-Typs und der Zusammensetzung (dem Anteil von High-Yield- gegenüber Low-Yield-Patches) über die gesamte Umgebung hinweg.

Methodik
Die Autoren entwickeln ein normatives Bayessches Framework für einen Agenten, der in einer patchy Umgebung foraget. Das Modell behandelt Lernen als eine zweite Ebene der Inferenz:

Innerhalb-des-Patches-Inferenz: Der Agent inferiert die initiale Begegnungsrate ( $\lambda_k$ ) des aktuellen Patches. Das Modell beinhaltet Erschöpfung (Depletion), wobei die Rate mit jedem gefundenen Chunk linear abnimmt ( $\lambda(t) = \lambda_k - \rho K(t)$ ), was im Gegensatz zu nicht-erschöpfenden (konstanten Rate) Umgebungen steht.
Über-die-Patches-hinweg-Inferenz: Der Agent inferiert die globale Verteilung der Patch-Typen, spezifisch den Anteil ( $p_H$ ) der High-Yield-Patches und die mit ihnen assoziierten Raten.
Strategien: Die Studie vergleicht zwei Zielfunktionen:
- Belohnungssuche (Reward-Seeking): Maximierung der langfristigen Belohnungsrate (Aufnahme pro Zeiteinheit).
- Informationssuche (Information-Seeking): Maximierung der Entropiereduktionsrate (Lernen) bezüglich der Umweltparameter.
Abbruchregeln (Departure Rules): Die Autoren analysieren Schwellenwert-Policies, bei denen der Agent einen Patch verlässt, wenn sein Glaube über die Reichhaltigkeit des Patches oder die Opportunitätskosten einen spezifischen Wert kreuzt. Sie vergleichen zudem diese modellbasierten Agenten mit modellfreien Reinforcement-Learnern und optimalen „Oracle“-Agenten.
Umgebungen: Die Analyse umfasst homogene Umgebungen (ein Patch-Typ), binäre Umgebungen (zwei Patch-Typen) und regenerierende Umgebungen, in denen sich Patches zwischen den Besuchen erholen.

Wesentliche Beiträge und Ergebnisse

1. Erschöpfung als Informationsquelle für das Lernen der Rate
Die Arbeit zeigt, dass Ressourcenerschöpfung nicht bloß ein Kostenfaktor ist, sondern eine Informationsquelle, welche das Lernen der Begegnungsraten innerhalb eines Patches beschleunigt.

Mechanismus: In einem erschöpfenden Patch werden aufeinanderfolgende Inter-Encounter-Intervalle aus einer dezedierenden Sequenz von Raten gezogen ( $\lambda, \lambda-\rho, \lambda-2\rho, \dots$ ). Der Abstand dieser Intervalle identifiziert die initiale Rate $\lambda$ wesentlich präziser als ein konstante Rate-Stream gleicher Dauer.
Ergebnis: In homogenen, erschöpfenden Umgebungen sinkt der mittlere quadratische Fehler (MSE) der Raten-Schätzung signifikant schneller als in nicht-erschöpfenden Umgebungen. Die Zeit, um eine feste Genauigkeitsschwelle zu erreichen, kann in erschöpfenden Patches bis zu dreimal kürzer sein.
Optimales Verhalten: Für einen Belohnungsmaximierer in einer homogenen erschöpfenden Umgebung ist die optimale Strategie, fast den gesamten Patch zu konsumieren, bevor er ihn verlässt. Unter einem Entropieraten-Maß ist es optimal, unendlich lange zu bleiben, aber unter einem MSE-Schwellenwert-Maß (Minimierung der Zeit bis zu einer festen Genauigkeit) ist die beste Policy, den Patch zu konsumieren und zu gehen. Dieser Abbruch erfolgt nach dem Konsum nahezu des gesamten Patches, ein Verhalten, das sich vom „Überbleiben“ eines Reward-Seekers unterscheidet, der ebenfalls lange bleibt; vielmehr wird die Regel des Informations-Seekers (unter dem MSE-Kriterium) durch die Notwendigkeit getrieben, die Rate über die fallenden Intervalle aufzulösen, während der Reward-Seeker die marginale Aufnahme gegen die Reisekosten abwägt.

2. Erschöpfung ist neutral für das Lernen der Zusammensetzung
Im Gegensatz zum Lernen der Rate hat die Erschöpfung keinen Einfluss auf das Lernen der Umweltszusammensetzung (den Anteil $p_H$ der High-Yield-Patches).

Mechanismus: Die Zusammensetzung wird aus kategorialen Beobachtungen der Patch-Typen inferiert. Jeder Patch-Besuch trägt maximal eine kategoriale Beobachtung bei (den Typ des Patches), unabhängig davon, wie viele Chunks darin konsumiert werden.
Ergebnis: Die Lernrate für die Zusammensetzung skaliert als $1/n$ (wobei $n$ die Anzahl der besuchten Patches ist), nicht mit der Anzahl der Begegnungen innerhalb der Patches. Erschöpfung beschleunigt weder das Lernen noch behindert sie diesen Prozess, sofern der Agent die korrekte Likelihood-Funktion verwendet.
Implikation: Ein informationssuchender Agent, der die globale Zusammensetzung klären will, sollte Patches frühzeitig verlassen (selbst reiche), um mehr distinkte Orte zu sampeln, während ein Reward-Seeker länger bleiben könnte.

3. Divergenz von Reward- und Information-Seeking Strategien
Die optimalen Abbruchregeln für die Maximierung der Belohnung und die Maximierung der Information divergieren je nachdem, was unsicher ist:

Homogene Umgebung (Unsichere Rate): Informations-Seeker und Reward-Seeker neigen in erschöpfenden Patches beide dazu, lange zu bleiben, aber ihre spezifischen Abbruchschwellen unterscheiden sich basierend auf dem Lernmetrik. Unter einem Entropieraten-Maß ist unendliches Verbleiben für den Informationsgewinn optimal, aber unter einem MSE-Schwellenwert-Maß ist die optimale Policy, den Patch zu konsumieren und zu gehen. In beiden Fällen „überbleibt“ der Informations-Seeker nicht notwendigerweise im einfachen Sinne im Vergleich zum Reward-Seeker; vielmehr verlässt der Reward-Seeker den Patch, wenn die marginale Aufnahmerate unter die Opportunitätskosten fällt, während der Informations-Seeker (unter MSE) den Patch verlässt, sobald die posteriore Standardabweichung unter einen Schwellenwert fällt, was oft mit dem Konsum des gesamten Patches zusammenfällt.
Binäre Umgebung (Unsichere Zusammensetzung): Informations-Seeker bleiben in reichen Patches zu kurz. Da die Zusammensetzung durch das Besuchen neuer Patches aufgelöst wird, verlässt der Informations-Seeker High-Yield-Patches frühzeitig, um die Diversität der Umgebung zu sampeln, während der Reward-Seeker bleibt, bis die marginale Aufnahme auf den globalen Durchschnitt sinkt.
Regenerierende Umgebungen: Wenn sich Patches zwischen den Besuchen erholen, kollabiert die reward-maximierende Policy auf einen stabilen Grenzzyklus (Orbit) über einer Teilmenge der High-Yield-Patches. Die Regenerationsrate bestimmt, ob der Forager die gesamte Umgebung kartiert oder auf eine reiche Teilmenge fixiert bleibt. Hohe Regenerationsraten unterdrücken das Lernen der Zusammensetzung für Reward-Seeker, da sie selten ungetypte Patches besuchen.

4. Variabilität diktiert die optimale Abbruchregel
Das Paper identifiziert einen kritischen Übergang in der optimalen Heuristik zum Verlassen eines Patches basierend auf der Umweltvariabilität:

Uniforme Patches: Wenn die Patch-Reichhaltigkeit ähnlich ist, ist eine Counting Rule (Verlassen nach einer festen Anzahl von Chunks) optimal.
Variable Patches: Wenn die Reichhaltigkeit signifikant variiert (um mehr als ~24%), wird eine Timing Rule (Verlassen nach einer festen Zeitspanne seit dem letzten Fund) optimal.
Modellbasiert vs. Modellfrei: Die Repräsentation der Umgebung (unter Verwendung eines Bayesschen Modells) liefert einen signifikanten Intake-Vorteil (~20 Prozentpunkte) gegenüber dem Lernen einer Regel rein aus der Belohnung (modellfrei), aber nur, wenn das Modell des Agenten bezüglich der Erschöpfungsrate halbwegs genau ist. Wenn die Erschöpfungsrate um mehr als ~25% falsch spezifiziert ist, bricht die Performance des modellbasierten Agenten zusammen, und ein modellfreier Agent kann ihn übertreffen.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Arbeit eine analytische Erklärung dafür liefert, warum die frühe Phase des Foraging-Lernens durch Erschöpfung beschleunigt wird und wie Bewegungsstrategien von der spezifischen Unsicherheit abhängen, die reduziert werden soll.

Hierarchische Inferenz: Die Studie klärt, dass Erschöpfung auf der Ebene der Raten-Estimation (innerhalb des Patches) operiert, aber neutral auf der Ebene der Zusammensetzung (über die Patches hinweg) ist.
Information vs. Reward: Das Paper hebt hervor, dass Informationssuche kein monolithischer Antrieb ist; unterschiedliche Lernziele (Reduktion der Raten-Unsicherheit vs. Zusammensenz-Unsicherheit) schreiben entgegengesetzte Bewegungsverhalten vor (Bleiben vs. Gehen).
Robustheit von Modellen: Der Vorteil der Aufrechterhaltung eines expliziten Umweltmodells ist durch die Modellgenauigkeit begrenzt. Die Autoren argumentieren, dass die „Flachheit“ der Belohnungsoberfläche nahe dem Optimum bedeutet, dass eine präzise Parameter-Estimation weniger kritisch für die Aufnahme ist als die Fähigkeit, sich an wechselnde Kosten (wie Reisezeiten) anzupassen und die Korrektheit des strukturellen Modells (Depletions-Dynamik).
Experimentelle Vorhersagen: Das Framework generiert testbare Vorhersagen, wie etwa den Wechsel von Counting- zu Timing-Regeln bei zunehmender Umweltvarianz sowie die spezifische Divergenz in den Residenzzeiten zwischen Reward- und Information-Seeking Foragern in homogenen versus binären Umgebungen.

Das Paper schließt mit der Feststellung, dass das Lernen der Umgebung einen signifikanten Intake-Vorteil gegenüber dem reinen Lernen einer Regel aus der Belohnung bietet, vorausgesetzt, die Annahmen des Agenten über die Erschöpfung lassen Raum für die Wahrheit.

Die große Waldkarte und die leere Schüssel

Die zwei verschiedenen Ziele: Magen gegen Gehirn

Die Magie der sich regenerierenden Patches

Zählen vs. Zeitmessen: Der geheime Wechsel

Das Fazente Fazit

Mehr davon