🤖 AI

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

FlowMaps es un modelo de flujo latente que aprende patrones espacio-temporales de interacciones humano-objeto para predecir distribuciones multimodales de ubicaciones futuras de objetos, mejorando significativamente la navegación robótica y el rendimiento de búsqueda en entornos domésticos dinámicos.

Autores originales: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás buscando tus llaves perdidas en una casa donde vives con un compañero de cuarto. Si le preguntas a un robot estándar: "¿Dónde están mis llaves?", este podría revisar la mesa donde las dejaste ayer. Pero en un hogar real, las cosas se mueven. Tu compañero de cuarto podría haber movido las llaves al mostrador de la cocina, o tal vez al lavabo del baño, dependiendo de su rutina diaria.

Este es el problema que FlowMaps resuelve. Es un nuevo tipo de IA diseñada para ayudar a los robots a entender que los objetos en una casa no son estatuas estáticas; son como actores en una obra de teatro, moviéndose según los hábitos humanos.

Aquí hay un desglose sencillo de cómo funciona, utilizando algunas analogías cotidianas:

1. El Problema: El "Objetivo Móvil"

En una casa, los humanos mueven cosas constantemente. Una taza de café puede estar en el mostrador por la mañana, en el lavavajillas al mediodía y en la mesa del comedor por la noche.

Los robots antiguos: Actúan como si tuvieran amnesia. Asumen que si un objeto estaba en un lugar ayer, estará allí hoy. Si les pides que busquen tus gafas, buscan en el último lugar donde las vieron y fallan.
El desafío: Los robots necesitan adivinar dónde podría estar un objeto, no solo dónde estaba. Pero como los humanos tienen diferentes hábitos, no hay una sola respuesta. Las gafas podrían estar en la mesita de noche, en el lavabo del baño o en el escritorio. El robot necesita considerar todas estas posibilidades a la vez.

2. La Solución: "FlowMaps" (La Bola de Cristal)

Los investigadores crearon un sistema llamado FlowMaps. Piensa en esto como un pronóstico del clima para los objetos.

Así como un pronóstico del tiempo no dice "Lloverá definitivamente a las 2:00 PM", sino que muestra un mapa con un 70% de probabilidad de lluvia en un área y un 30% en otra, FlowMaps no adivina un solo punto exacto para un objeto.
En su lugar, crea una nube de posibilidades. Dice: "Basado en cómo se comportan los humanos usualmente, hay una alta probabilidad de que el teléfono esté en el escritorio, una probabilidad media de que esté en la mesita de noche y una probabilidad baja de que esté en la sala de estar".

3. Cómo Aprende: El "Detective de Patrones"

¿Cómo aprende el robot estos hábitos sin que se le digan explícitamente?

El Entrenamiento: El equipo no le enseñó al robot diciendo: "Los humanos ponen las gafas en las mesitas de noche". En su lugar, utilizaron un simulador de videojuegos (ProcTHOR) para generar miles de casas falsas. Programaron "humanos virtuales" para que vivieran en estas casas durante semanas, moviendo objetos de formas realistas (por ejemplo, moviendo un libro del estante a la mesa).
El Aprendizaje: El robot observó a estos humanos virtuales mover cosas. Aprendió el ritmo de la casa. Se dio cuenta de que, aunque no sabía por qué el humano movió la taza, el patrón de movimiento era constante.
La Magia: Aprendió a predecir la ubicación futura de un objeto mirando la escena actual y la etiqueta del objeto (por ejemplo, "Teléfono"), sin necesidad de conocer la actividad humana específica que causó el movimiento.

4. El Ingrediente Secreto: "Flow Matching"

El motor técnico detrás de esto se llama Flow Matching.

La Analogía: Imagina que tienes una gota de tinta en un vaso de agua. Quieres saber dónde estará esa tinta después de 10 segundos.
- Los métodos tradicionales podrían intentar adivinar la trayectoria exacta que sigue la tinta.
- Flow Matching es como aprender la corriente del agua. Aprende el "flujo" que empuja la tinta desde su punto de partida hasta su punto de llegada.
En este artículo, la "tinta" es la ubicación del objeto. La "corriente" es el hábito humano. El modelo aprende la corriente invisible que mueve los objetos a través de la casa a lo largo del tiempo. Debido a que aprende el flujo, puede predecir muchos destinos diferentes (multimodal) en lugar de solo una línea recta.

5. Los Resultados: Encontrando el Teléfono Perdido

Los investigadores probaron esto de dos maneras:

En Simulación: Ejecutaron más de 600 escenarios donde un robot tenía que encontrar un objeto en una casa virtual. FlowMaps fue mucho mejor encontrando el objeto que los métodos anteriores. No solo adivinó un lugar; le dio al robot una lista clasificada de los lugares más probables, permitiéndole revisar primero las mejores suposiciones.
En el Mundo Real: Colocaron el sistema en un robot real (un robot TIAGo) en un laboratorio. El robot tenía que encontrar un teléfono celular que una persona había movido entre escritorios. El robot utilizó FlowMaps para predecir dónde estaría el teléfono horas después. Encontró el teléfono con éxito revisando los puntos predichos en orden.

Resumen

FlowMaps es como darle a un robot un "sexto sentido" para los hábitos humanos. En lugar de solo recordar dónde estaban las cosas, entiende cómo se mueven las cosas basándose en las rutinas. Al predecir una nube de ubicaciones futuras probables en lugar de un solo punto, ayuda a los robots a navegar en hogares desordenados y cambiantes de manera mucho más efectiva, encontrando objetos perdidos más rápido y con menos errores.

Conclusión Clave: El artículo afirma que este método funciona mejor que los enfoques actuales de vanguardia para encontrar objetos en hogares dinámicos, tanto en simulaciones como en un robot real, al modelar el movimiento de los objetos como un flujo continuo de posibilidades en lugar de una suposición fija.

Resumen Técnico: FlowMaps

Formulación del Problema

Los agentes robóticos que operan en entornos habitados por humanos enfrentan desafíos significativos debido a la naturaleza intrínsecamente dinámica de estos espacios. A diferencia de las escenas estáticas, los objetos cotidianos son movidos frecuentemente por interacciones humanas, lo que provoca que sus ubicaciones cambien con el tiempo. Esto crea una dificultad crítica para tareas como la Navegación de Objetos (ObjNav), donde un robot debe localizar un objeto objetivo (por ejemplo, "encontrar mis gafas") sin la garantía de que este permanezca en su posición previamente observada.

El problema central abordado es la inferencia de la distribución sobre futuras cajas delimitadoras (bounding boxes) de un objeto dinámico, $p(b_{q,\tau_f} | M_\tau, l_q, \tau_f)$ , dada la actual escena de mapa $M_\tau$ , una etiqueta de objeto consultada $l_q$ y un horizonte de predicción $\tau_f$ . Los enfoques existentes suelen depender de relaciones discretas a nivel de receptáculo, asumen escenas estáticas o dependen de costosos Modelos de Lenguaje-Visión (VLM) y de priors diseñados a mano. Además, los desplazamientos de los objetos son inherentemente multimodales (un objeto puede moverse plausiblemente hacia múltiples ubicaciones distintas) y ocurren en un espacio 3D continuo, lo que requiere un enfoque de modelado que capture tanto la continuidad espacial como múltiples modos plausibles sin necesidad de etiquetado explícito de actividades humanas.

Metodología: FlowMaps

Los autores proponen FlowMaps, un marco de coincidencia de flujo latente (latent flow matching - FM) diseñado para estimar distribuciones multimodales sobre ubicaciones futuras de objetos en un espacio 3D continuo. La arquitectura consta de dos módulos primarios:

Autoencoder Variacional (VAE):
- Codifica tokens de objetos (que comprenden una caja delimitadora 3D normalizada y una etiqueta semántica) en un espacio latente compacto $z \in \mathbb{R}^{d_z}$ .
- El VAE se entrena para reconstruir tanto la geometría (parámetros de la caja delimitadora) como la semántica (etiquetas de clase de objeto).
- Una vez entrenado, el codificador se congela para proporcionar latentes objetivo para el modelo de flujo, mientras que el decodificador mapea los latentes generados de vuelta a las predicciones de objetos.
Red de Coincidencia de Flujo Latente (Latent Flow Matching Network):
- Construida sobre una arquitectura de Transformador de Difusión Condicional (CDiT), esta red aprende un campo vectorial $u_\theta^t$ que transporta muestras desde una distribución base Gaussiana simple $p_0$ hacia la distribución latente objetivo $p_1$ (que representa los estados futuros de los objetos).
- Codificador de Mapa (Map Encoder): Agrega el contexto de la escena (objetos dinámicos y mobiliario estático de fondo) en una secuencia de tokens contextualizados utilizando un codificador Transformer. Este codificador es invariante a la permutación y se basa en incrustaciones (embeddings) de cajas delimitadoras para la estructura espacial.
- Bloques CDiT: Una pila de bloques CDiT refina un latente de consulta ruidoso mediante la atención cruzada (cross-attention) con el contexto de la escena. El vector de condicionamiento incluye el tiempo de flujo $t$ , la marca de tiempo final $\tau_f$ y la etiqueta consultada $l_q$ .
- Entrenamiento: El modelo se entrena utilizando Coincidencia de Flujo Condicional (CFM) en una trayectoria de transporte óptimo condicional. Los latentes objetivo se derivan de las cajas delimitadoras futuras reales codificadas por el VAE congelado. Los pares fuente-objetivo se emparejan mediante un plan de transporte óptimo de mini-lote exacto para asegurar trayectorias más rectas.
- Inferencia: Dada una escena y una consulta, el codificador de mapa computa los tokens de contexto una sola vez. Luego, el flujo se integra desde un vector de ruido muestreado $z_0$ hasta un latente final $z_1$ , el cual se decodifica en una caja delimitadora predicha. El muestreo repetido genera una distribución multimodal de ubicaciones futuras plausibles.

Generación de Datos:
Para entrenar el modelo a escala, los autores utilizan ProcTHOR para generar entornos interiores dinámicos. Simulan tres hábitos humanos (rutinas) distintos para crear patrones de movimiento de objetos semánticamente consistentes:

Hábito #1: Basado en preferencias (los objetos regresan a un pequeño conjunto de ubicaciones favorecidas).
Hábito #2: Equilibrado (el tiempo se distribuye uniformemente entre las ubicaciones relevantes).
Hábito #3: Altamente dinámico (transiciones frecuentes entre ubicaciones).
Este proceso produce más de 1.8 millones de muestras de entrenamiento por hábito, asegurando que el modelo aprenda regularidades latentes a partir de los datos en lugar de etiquetas de actividad explícitas.

Contribuciones Clave

Arquitectura FlowMaps: Un nuevo marco basado en FM para representar y predecir distribuciones espacio-temporales continuas y multimodales de objetos en entornos dinámicos, operando directamente en el espacio 3D en lugar de categorías de receptáculos discretas.
Aplicación en el Dominio (ObjNav): Demostración de FlowMaps como un prior para la Navegación de Objetos en escenas dinámicas. El método permite a los robots razonar sobre las ubicaciones probables de los objetos a lo largo del tiempo, superando a los baselines de cero disparos (zero-shot) y a las políticas expertas entrenadas.
Evaluación Exhaustiva: Una evaluación cuantitativa y cualitativa extensa que cubre más de 600 episodios de ObjNav simulados en entornos disjuntos y despliegues en el mundo real. El estudio valida la solidez, efectividad, generalización entre entornos y viabilidad práctica del método.

Resultados Experimentales

La evaluación se llevó a cabo tanto en entornos simulados (ProcTHOR/AI2-THOR) como en entornos reales (robot TIAGo) .

Desempeño Distribucional: FlowMaps logró un minFDE de 0.342m, superando al baseline más fuerte (FreqPrior con 0.370m) por un 7.6%. Demostró métricas de densidad (0.886) y cobertura (0.999) superiores en comparación con los baselines, lo que indica que sus muestras se concentran estrechamente alrededor de los modos reales mientras cubren el espacio plausible de manera efectiva. Los predictores de punto único (por ejemplo, EmpiricalMean) tuvieron un desempeño significativamente inferior (minFDE > 2m), resaltando la necesidad del modelado multimodal.
Navegación de Objetos (ObjNav): A través de tres hábitos distintos, FlowMaps alcanzó consistentemente la mayor Tasa de Éxito Media (mSR) y la Longitud de Camino Ponderada por Éxito Media (mSPL).
- En el Hábito #1, FlowMaps logró un mSR del 69.26%, superando al siguiente mejor método (SGM con 67.26%).
- En el Hábito #3 (el más dinámico y desafiante), FlowMaps logró un mSR del 64.39%, superando significativamente a los métodos basados en grafos (HOMER: 58.93%, SGM: 56.84%) y a los baselines de LLM de cero disparos.
- Notablemente, el SR@1 de FlowMaps (éxito en la primera predicción) a menudo superó el SR@5 de los baselines competidores, indicando una alta precisión en sus predicciones de primer rango.
Despliegue en el Mundo Real: El método se desplegó con éxito en un robot TIAGo para localizar un "Celular" en un entorno de laboratorio real, demostrando la capacidad de transferir los priors aprendidos a entornos físicos.

Significado y Reivindicaciones

El artículo sostiene que el modelado de la dinámica de los objetos a través de distribuciones espacio-temporales continuas y multimodales mejora significamente la búsqueda y navegación robótica en entornos domésticos cambiantes. Las afirmaciones clave incluyen:

Aprendizaje Implícito: Predecir las ubicaciones de los objetos no requiere identificar explícitamente la actividad humana que causa el desplazamiento; la estructura emerge directamente de los datos.
Generalización: El prior aprendido se generaliza a diseños de hogares y arreglos de objetos no vistos, siempre que compartan rutinas (hábitos) similares, sin requerir un ajuste fino (fine-tuning) por cada hogar.
Eficiencia: Al evitar la construcción explícita de grafos de escena o el razonamiento pesado de VLM durante la inferencia, FlowMaps se mantiene eficiente mientras supera a los métodos previos de ObjNav dinámico.
Modalidad: El enfoque maneja eficazmente la multimodalidad inherente de los desplazamientos de los objetos, proporcionando un prior más rico para el razonamiento robótico que las suposiciones de escenas estáticas o las predicciones de estados discretos.

Los autores reconocen limitaciones, incluyendo la dependencia actual de un conjunto cerrado de clases de objetos y receptáculos, la necesidad de una cantidad sustancial de datos de entrenamiento (mitigada por la simulación) y que la evaluación está limitada a tres tipos específicos de hábitos. El trabajo futuro pretende abordar entornos de vocabulario abierto y mejorar la eficiencia de muestreo para el ajuste fino en línea.