📄 animal behavior and cognition

Resource depletion accelerates rate learning but not composition learning in patch foraging

Este artículo presenta un modelo bayesiano normativo que demuestra que, si bien el agotamiento de recursos acelera el aprendizaje de las tasas de recursos locales dentro de los parches, no acelera el aprendizaje más lento y dependiente de la muestra de la composición global del parche, lo que conduce a una divergencia entre las estrategias de maximización de recompensa y de búsqueda de información que da forma a las reglas óptimas de partida en el forrajeo.

Autores originales: Kilpatrick, Z. P., El Hady, A.

Publicado 2026-08-05

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kilpatrick, Z. P., El Hady, A.

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que eres una ardilla en un bosque totalmente nuevo. No sabes dónde están los mejores árboles de nueces, ni cuántos tipos diferentes de árboles existen. Tienes que hacer dos cosas a la vez: encontrar comida para comer ahora mismo y descifrar el mapa del bosque para poder comer mejor más adelante. Este es un rompecabezas clásico del comportamiento animal llamado "forrajeo". Los científicos han estudiado durante mucho tiempo cómo los animales deciden cuándo dejar de comer en un lugar y moverse al siguiente. La vieja regla de oro, llamada el Teorema del Valor Marginal, asume que el animal ya conoce el bosque perfectamente. Pero en la vida real, los animales suelen estar en la ignorancia cuando llegan. Tienen que aprender las reglas mientras juegan el juego. Este aprendizaje no se trata solo de recordar dónde está la comida; se trata de comprender la estructura oceta del mundo: qué tan ricos son los parches, con qué frecuencia aparecen y qué tan rápido se agota la comida.

Aquí es donde entra en juego un nuevo estudio de Zachary Kilpatrick y Ahmed El Hady. Construyeron un modelo matemático para observar cómo un animal inteligente aprende mientras come. Descubrieron algo sorprendente: el acto de comer es un maestro secreto. A medida que un animal come de un parche, la comida se vuelve más difícil de encontrar. Este frenado del "goteo de comida" le dice al animal exactamente qué tan rico era el parche al principio. Es como escuchar una canción que se vuelve cada vez más lenta; el patrón del frenado revela el tempo original. Sin embargo, este truco solo funciona para aprender sobre un parche a la vez. No ayuda al animal a averiguar qué porcentaje de todo el bosque está compuesto por parches ricos. Para aprender eso, el animal tiene que seguir moviéndose, incluso si eso significa dejar una buena comida antes de tiempo. El estudio muestra que los animales que intentan maximizar su llenado de vientre (recompensa) y los animales que intentan aprender el mapa (información) se comportarán de manera diferente, especialmente cuando son nuevos en el área.

El Gran Mapa del Bosque y el Cuenco Vacío

Sumerjámonos en el bosque. Imagina que eres un forrajeador, y tu mundo está hecho de "parches"—piensa en ellos como gigantes y mágicos cuencos de fruta esparcidos por un campo. Algunos cuencos son profundos y están llenos (alto rendimiento), y otros son poco profundos y están casi vacíos (bajo rendimiento). No sabes cuál es cuál cuando llegas. Solo sabes que, una vez que empiezas a comer, la fruta no se mantiene a un ritmo constante. Cada vez que tomas un trozo, el cuenco se vacía un poco más, y el siguiente trozo tarda un poquito más en encontrarse. Esto se llama depleción.

En el pasado, los científicos pensaban que la depleción era solo un costo. Significaba que tenías que trabajar más duro por menos comida, por lo que deberías dejar el cuenco tan pronto como se volviera lento. Pero Kilpatrick y El Hady se dieron cuenta de que este frenado es en realidad una pista.

Piensa en ello como un reloj que se está quedando sin batería. Si escuchas un reloj que suena de forma constante, no puedes saber si es una batería nueva o una vieja que ha estado funcionando durante horas. Pero si escuchas un reloj que suena cada vez más lento, puedes averiguar exactamente con cuánta batería empezó. El patrón del frenado determina la verdad. En sus simulaciones, descubrieron que, debido a este patrón, un animal aprende qué tan rico es un parche específico mucho más rápido si el parche se está depletando que si fuera un cuenco mágico que nunca se agota. El "espaciado" entre la fruta cuenta la historia.

Los Dos Objetivos Diferentes: Estómago vs. Cerebro

Aquí es donde se pone complicado. El animal tiene dos objetivos, y a veces estos chocan entre sí.

El Objetivo del Estómago (Búsqueda de Recompensa): "Quiero comer lo más posible ahora mismo".
El Objetivo del Cerebro (Búsqueda de Información): "Quiero aprender el mapa del bosque para ser más inteligente después".

En un bosque donde cada parche es el mismo (un bosque "homogéneo"), el Estómago y el Cerebro suelen estar de acuerdo: quédate en el cuenco hasta que esté casi vacío. Pero el estudio encontró un desacuerdo sutil. Si el animal intenta puramente aprender la tasa de la comida, podría quedarse un poco más de tiempo solo para obtener ese último dato perfecto.

Pero el verdadero drama ocurre en un bosque mixto con parches ricos y pobres (un entorno "binario").

El Estómago quiere quedarse en los cuencos ricos tanto como sea posible para obtener la mayor cantidad de fruta.
El Cerebro se da cuenta de que quedarse en un cuenco rico no le enseña nada sobre los cuencos pobres. Para aprender el mapa, necesita visitar diferentes tipos de cuencos.

Por lo tanto, el animal "Cerebro" comienza a dejar los cuencos ricos antes de tiempo. Sacrifica unos pocos bocados de fruta para ir a buscar un cuenco pobre y comprobar si realmente es pobre. Es como un estudiante que se salta los últimos minutos de una película divertida para ir a revisar la biblioteca, porque necesita saber si la biblioteca tiene el libro que necesita para mañana. El estudio muestra que este "sub-cosechado" (dejar comida atrás) es una estrategia racional para el aprendizaje, no un error.

La Magia de los Parches que se Reponen

Los investigadores también observaron qué sucede si el bosque es especial: los cuencos se rellenan entre visitas. Imagina un jardín donde puedes volver al mismo arbusto de rosas cada día.

Si los arbustos se reponen lentamente, el animal tiene que deambular por todas partes para encontrar comida. Aprende todo el mapa.
Si los arbustos se reponen rápidamente, el animal encuentra algunos arbustos ricos y simplemente salta entre ellos en un bucle. Se convierte en un experto en esos arbustos específicos, pero permanece totalmente ignorante del resto del bosque. El estudio sugiere que en mundos de reposición rápida, el animal del "Estómago" se queda atrapado en algunos puntos ricos y deja de explorar, mientras que el animal del "Cerebro" sigue deambulando para asegurarse de que no se ha perdido algo mejor.

Contar vs. Cronometrar: El Interruptor Secreto

Finalmente, el estudio preguntó: ¿Cuál es la mejor regla para saber cuándo irse? ¿Debería el animal contar cuántas piezas de fruta comió, o debería cronometrar cuánto tiempo ha esperado desde la última pieza?

La respuesta depende de qué tan diferentes sean los parches.

Si todos los parches son aproximadamente iguales, el animal debería contar. "Comeré 5 piezas y luego me iré".
Si los parches son muy diferentes (algunos son súper ricos, otros son terribles), el animal debería cronometrar. "Si no he encontrado comida en un buen rato, esto debe ser un mal parche, así que me iré".

Los investigadores encontraron un punto de inflexión específico: si la diferencia en la riqueza entre el mejor y el peor parche es de más del 25% (un cuarto), el animal debería cambiar de contar a cronometrar. Es un cambio inteligente que ayuda al animal a evitar perder el tiempo en un parche terrible.

La Conclusión

Este artículo utiliza las matemáticas y las simulaciones por computadora para mostrar que el aprendizaje es un proceso por capas. Comer comida te enseña sobre el lugar actual, pero moverse por el entorno te enseña sobre el mundo entero. La depleción es un maestro útil para el lugar actual, pero no te ayuda a aprender el panorama general.

La conclusión más importante es que los animales (¡y tal vez incluso nosotros!) no somos solo máquinas sin mente comiendo hasta saciarnos. Estamos equilibrando un compromiso entre obtener comida ahora y aprender las reglas para después. A veces, lo más inteligente es dejar una buena comida temprano, solo para asegurarse de que no se está perdiendo algo aún mejor en otro lugar. Y mientras la suposición del animal sobre qué tan rápido se agota la comida sea aproximadamente correcta, este enfoque inteligente basado en modelos supera al simple hecho de adivinar y reaccionar a las recompensas cada vez.

Resumen Técnico: El agotamiento de recursos acelera el aprendizaje de tasas, pero no el aprendizaje de composición en el forrajeo de parches

Planteamiento del problema
El forrajeo es un problema de inferencia jerárquica donde un animal debe explotar simultáneamente un parche de recursos y aprender la estructura del entorno que genera dichos parches. La teoría clásica del forrajeo, incluyendo el Teorema del Valor Marginal, asume típicamente que el forrajeador posee un conocimiento completo de las estadísticas ambientales (por ejemplo, la distribución de tipos de parches y sus tasas de encuentro) al llegar. Sin embargo, en entornos novedosos, los animales deben inferir estos parámetros mediante la exploración. Este artículo aborda la brecha en la comprensión de cómo el proceso físico del agotamiento de recursos —donde cada encuentro con alimento reduce la tasa de encuentros subsiguientes dentro de un parche— moldea el aprendizaje de dos características ambientales distintas: la tasa de encuentro dentro de un tipo de parche específico y la composición (la fracción de parches de alto rendimiento frente a los de bajo rendimiento) a través del entorno.

Metodología
Los autores desarrollan un marco bayesiano normativo para un agente que forrajea en un entorno de parches. El modelo trata el aprendizaje como un segundo nivel de inferencia:

Inferencia dentro del parche: El agente infiere la tasa de encuentro inicial ( $\lambda_k$ ) del parche actual. El modelo incorpora el agotamiento, donde la tasa disminuye linealmente con cada fragmento encontrado ( $\lambda(t) = \lambda_k - \rho K(t)$ ), contrastando esto con entornos no agotables (de tasa constante).
Inferencia entre parches: El agente infiere la distribución global de los tipos de parches, específicamente la fracción ( $p_H$ ) de parches de alto rendimiento y las tasas asociadas con cada tipo.
Estrategias: El estudio compara dos funciones objetivo:
- Búsqueda de recompensa: Maximizar la tasa de recompensa a largo plazo (ingesta por unidad de tiempo).
- Búsqueda de información: Maximizar la tasa de reducción de la entropía (aprendizaje) respecto a los parámetros ambientales.
Reglas de partida: Los autores analizan políticas de umbral donde el agente abandona un parche cuando su creencia sobre la riqueza del parche o el costo de oportunidad cruza un nivel específico. También comparan estos agentes basados en modelos frente a aprendices de refuerzo libres de modelo y agentes "oráculo" óptimos.
Entornos: El análisis cubre entornos homogéneos (un tipo de parche), entornos binarios (dos tipos de parches) y entornos de reposición donde los parches se recuperan entre visitas.

Contribuciones clave y resultados

1. El agotamiento como fuente de información para el aprendizaje de la tasa
El artículo demuestra que el agotamiento de recursos no es meramente un costo, sino una fuente de información que acelera el aprendizaje de las tasas de encuentro dentro del parche.

Mecanismo: En un parche que se agota, los intervalos sucesivos entre encuentros se extraen de una secuencia de tasas que desacelera ( $\lambda, \lambda-\rho, \lambda-2\rho, \dots$ ). El espaciamiento de estos intervalos identifica de manera mucho más nítida la tasa inicial $\lambda$ que un flujo de tasa constante de la misma duración.
Resultado: En entornos homogéneos con agotamiento, el Error Cuadrático Medio (MSE) de la estimación de la tasa decae significativamente más rápido que en entornos no agotables. El tiempo requerido para alcanzar un umbral de precisión fijo puede ser hasta tres veces más corto en parches con agotamiento.
Comportamiento óptimo: Para un maximizador de recompensas en un entorno homogéneo con agotamiento, la estrategia óptima es consumir casi la totalidad del parche antes de partir. Bajo una medida de tasa de entropía, permanecer indefinidamente es óptimo, pero bajo una medida de umbral de MSE (minimizar el tiempo para alcanzar una precisión fija), la mejor política es consumir el parche y partir. Este abandono ocurre tras consumir esencialmente todo el parche, un comportamiento distinto al de "permanecer de más" en comparación con un buscador de recompensas que también permanece mucho tiempo; es decir, el buscador de información (bajo el criterio de MSE) y el buscador de recompensas ambos consumen el parche, pero la regla del buscador de información está impulsada por la necesidad de resolver la tasa mediante los intervalos decrecientes, mientras que el buscador de recompensas equilibra el valor marginal de los últimos fragmentos contra los costos de viaje.

2. El agotamiento es neutral para el aprendizaje de la composición
En contraste con el aprendizaje de la tasa, el aprendizaje de la composición ambiental (la fracción de parches de alto rendimiento, $p_H$ ) no se ve afectado por el agotamiento.

Mecanismo: La composición se infiere a partir de observaciones categóricas de los tipos de parches. Cada visita al parche contribuye como máximo con una observación categórica (el tipo de parche), independientemente de cuántos fragmentos se consuman dentro de este.
Resultado: La tasa de aprendizaje para la composición escala como $1/n$ (donde $n$ es el número de parches visitados), no con el número de encuentros dentro de los parches. El agotamiento no acelera ni dificulta este proceso, siempre que el agente utilice la función de verosimilitud correcta.
Implicación: Un agente que busca información y pretende resolver la composición global debería abandonar los parches temprano (incluso los ricos) para muestrear más ubicaciones distintas, mientras que un buscador de recompensas podría permanecer más tiempo.

3. Divergencia de las estrategias de búsqueda de recompensa y de información
Las reglas de partida óptimas para la maximización de la recompensa y la maximización de la información divergen según lo que sea incierto:

Entorno homogéneo (Tasa incierta): Los buscadores de información y de recompensa tienden a permanecer mucho tiempo en parches con agotamiento, pero sus umbrales de partida específicos difieren según la métrica de aprendizaje. Bajo una medida de tasa de entropía, permanecer indefinidamente es óptimo para la ganancia de información, mientras que bajo una medida de umbral de MSE, la política óptima es consumir el parche y partir. En ambos casos, el buscador de información no necesariamente "permanece de más" respecto a un buscador de recompensas en un sentido simple; más bien, el buscador de recompensas parte cuando la tasa de ingesta marginal cae al costo de oportunidad, mientras que el buscador de información (bajo MSE) parte una vez que la desviación estándar posterior cae por debajo de un umbral, lo cual a menudo coincide con el consumo del parche.
Entorno binario (Composición incierta): Los buscadores de información permanecen menos tiempo en parches ricos. Dado que la composición se resuelve visitando nuevos parches, el buscador de información deja los parches de alto rendimiento temprano para muestrear la diversidad del entorno, mientras que el buscador de recompensas permanece hasta que la tasa de ingesta marginal cae al promedio global.
Entornos de reposición: Cuando los parches se recuperan entre visitas, la política de maximización de recompensa colapsa en un ciclo límite estable (órbita) sobre un subconjunto de parches de alto rendimiento. La tasa de reposición determina si el forrajeador mapea todo el entorno o se fija en un subconjunto rico. Altas tasas de reposición suprimen el aprendizaje de composición para los buscadores de recompensas porque rara vez visitan parches no tipificados.

4. La variabilidad dicta la regla de partida óptima
El artículo identifica una transición crítica en la heurística óptima para dejar un parche basada en la variabilidad del entorno:

Parches uniformes: Cuando la riqueza de los parches es similar, una regla de conteo (dejar tras un número fijo de fragmentos) es óptima.
Parches variables: Cuando la riqueza varía significamente (en más de ~24%), una regla de tiempo (dejar tras un intervalo fijo desde el último hallazgo) resulta óptima.
Basado en modelos vs. Libre de modelos: Representar el entorno (usando un modelo bayesiano) otorga una ventaja de ingesta significativa (~20 puntos porcentuales) sobre el aprendizaje de una regla puramente a partir de la recompensa (libre de modelo), pero solo si el modelo del agente sobre la tasa de agotamiento es razonablemente preciso. Si la tasa de agotamiento está mal especificada por más de ~25%, la performance del agente basado en modelos colapsa, y un agente libre de modelos puede superarlo.

Significancia y afirmaciones
Los autores afirman que su trabajo proporciona una cuenta analítica de por qué la fase inicial del aprendizaje de forrajeo se acelera por el agotamiento y cómo las estrategias de movimiento dependen de la incertidumbre específica que se está reduciendo.

Inferencia jerárquica: El estudio aclara que el agotamiento opera al nivel de la estimación de la tasa (dentro del parche) pero es neutral en el nivel de la composición (entre parches).
Información vs. Recompensa: El papel destaca que la búsqueda de información no es un impulso monolítico; diferentes objetivos de aprendizaje (reducir la incertidumbre de la tasa vs. la incertidumbre de la composición) prescriben comportamientos de movimiento opuestos (permanecer vs. partir).
Robustez de los modelos: La ventaja de mantener un modelo ambiental explícito está limitada por la precisión del modelo. El artículo argumenta que la "planitud" de la superficie de recompensa cerca del óptimo significa que la estimación precisa de los parámetros es menos crítica para la ingesta que la capacidad de adaptarse a cambios en los costos (como el tiempo de viaje) y la corrección del modelo estructural (dinámicas de agotamiento).
Predicciones experimentales: El marco genera predicciones testables, tales como el cambio de reglas de conteo a reglas de tiempo a medida que aumenta la varianza ambiental, y la divergencia específica en los tiempos de residencia entre forrajeadores de recompensa y de información en entornos homogéneos versus binarios.

El artículo concluye que aprender el entorno otorga una ventaja de ingesta significativa sobre el aprendizaje de una regla a partir de la recompina sola, siempre que las asunciones del agente sobre el agotamiento dejen espacio para la verdad.

El Gran Mapa del Bosque y el Cuenco Vacío

Los Dos Objetivos Diferentes: Estómago vs. Cerebro

La Magia de los Parches que se Reponen

Contar vs. Cronometrar: El Interruptor Secreto

La Conclusión

Más como este