Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

Imagina un robot asistente viviendo en tu hogar, con la tarea de ayudarte a encontrar una taza específica que usaste esta mañana. Ha estado caminando por tu casa durante horas, grabando una transmisión continua de video. Para responder a tu pregunta, no puede simplemente mirar los últimos segundos de metraje; debe buscar a través de cientos de minutos de historia grabada. Sin embargo, el cerebro del robot tiene un límite estricto: solo puede procesar una cantidad diminuta y fija de información en el momento exacto en que necesita tomar una decisión. No puede almacenar todo el video en su memoria activa, ni puede permitirse volver a ver todo el día cada vez que le haces una pregunta. Este es el cuello de botella fundamental de la inteligencia encarnada: la brecha entre un flujo interminable de observaciones y un presupuesto finito para pensar.

Durante años, los investigadores esperaron que el simple hecho de hacer los modelos de inteligencia artificial más grandes resolviera este problema. La idea predominante era que, si un modelo era lo suficientemente grande, aprendería naturalmente a recordar todo lo que vio. Pero experimentos recientes han demostrado que incluso los modelos más avanzados luchan cuando se enfrentan a flujos continuos y largos de video. Pueden reconocer a un gato en una sola foto, pero a menudo fallan al rastrear a dónde fue ese gato hace una hora. El problema no es que los modelos carezcan de la capacidad de ver; es que carecen de una estrategia para saber a qué mirar cuando el reloj corre y la memoria está llena.

Un equipo de investigadores se propuso probar un enfoque diferente. En lugar de intentar construir un cerebro más grande, se preguntaron si la forma en que el robot accede a sus memorias importa más que el tamaño del cerebro en sí. Propusieron que un agente exitoso necesita dos herramientas distintas trabajando juntas: un resumen comprimido de lo que ha sucedido (como un diario continuo) y un archivo preciso y buscable de cada momento (como una biblioteca de fotos). Crucialmente, el agente debe ser capaz de elegir, basándose en la pregunta específica realizada, cuánto de su presupuesto gastar en leer el diario frente a buscar en la biblioteca. Construyeron un sistema para probar esto, envolviendo los cerebros de robots existentes en una nueva capa de lógica que gestionaba estos recursos sin requerir ningún reentrenamiento.

Los investigadores probaron su sistema en un entorno sintético diseñado para imitar un largo paseo por un edificio, donde el robot tenía que responder preguntas sobre objetos que había visto horas antes. Enfrentaron su nuevo sistema contra varios métodos estándar, incluyendo modelos que simplemente miraban una selección aleatoria de fotogramas, modelos que intentaban resumir todo en un texto corto y modelos que buscaban a través de una biblioteca sin mantener un resumen continuo. Ejecutaron estas pruebas en siete modelos diferentes de código abierto, desde pequeños hasta grandes, todos bajo el mismo límite estricto de 4,096 "tokens" (unidades de información) por decisión.

Los resultados fueron impactantes, pero matizados. El nuevo sistema, que dirigía inteligentemente la atención del robot, superó con creces a todos los demás métodos que no condicionaban su acceso a la pregunta específica. Cuando se le pidió encontrar un objeto específico oculto en una secuencia de 300 fotogramas (la tarea de recuperación episódica), el nuevo sistema tuvo éxito entre el 75 % y el 94 % de las veces, mientras que los mejores métodos alternativos lograron menos del 20 %. Los investigadores descubrieron que la capacidad de hacer la pregunta correcta y luego recuperar el fotograma correcto era el factor decisivo. De hecho, darle a un modelo estándar cuatro veces más memoria para trabajar no ayudó tanto como darle al nuevo sistema una forma inteligente de usar su memoria limitada. El sistema inteligente con un presupuesto pequeño venció al sistema tonto con un presupuesto enorme.

Sin embargo, la historia no terminó con una victoria perfecta. Los investigadores habían diseñado su sistema con tres partes: el resumen, el archivo y el enrutador inteligente que decidía cómo usarlos. Cuando probaron cada parte individualmente, descubrieron un fallo sorprendente. El enrutador inteligente y el archivo fueron los héroes; ellos hicieron el trabajo pesado. Pero el componente del resumen, que supuestamente debía mantener un recuento continuo de eventos, en realidad empeoró el sistema. Cuando eliminaron el resumen, el rendimiento del sistema en tareas complejas mejoró significamente. De hecho, el sistema completo no superó la línea base de solo el archivo en ninguno de los siete modelos probados. La razón fue que el cerebro del robot no era lo suficientemente bueno para mantener un recuento perfecto a lo largo de cientos de pasos; los pequeños errores en el resumen se acumularon y confundieron al sistema. Un sistema de mejor rendimiento que dependía de un índice de texto fuera de línea en lugar de un resumen en vivo superó de hecho el propio diseño de los investigadores.

Este fallo no fue una derrota para la idea principal, sino un refinamiento crucial. El estudio demostró que, bajo un límite estrico de tiempo y memoria, la estructura de acceso es más importante que el tamaño del modelo o la cantidad de memoria disponible. El robot no necesita verlo todo; necesita saber exactamente dónde mirar. Los investigadores concluyeron que el futuro de los agentes encarnados no reside en construir cerebros más grandes, sino en construir formas más inteligentes de acceder a la información. La estrategia más efectiva es gastar el presupuesto en encontrar la pieza de evidencia correcta, en lugar de intentar contener todo el mundo en la memoria a la vez. Aunque su diseño específico para el resumen continuo falló, el principio central se mantuvo firme: en un mundo de datos interminables y tiempo limitado, saber qué ignorar es tan importante como saber qué recordar.