💻 computer science

LH-AVLN: A Benchmark for Long-Horizon Audio-Visual-Language Navigation

Este artículo introduce LH-AVLN, un nuevo referente para la navegación audiovisual-lingüística de largo horizonte que desafía a los agentes con misiones de múltiples objetivos en entornos interiores acústicamente ricos, y propone PAG-Nav, un agente que no requiere entrenamiento que aprovecha eficazmente el audio binaural para la búsqueda mientras se apoya en la verificación visual-semántica para la consecución de objetivos.

Autores originales: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rufeng Chen, Yue Chang, Zili Shao, Zhaofan Zhang, Li Chen, Hechang Chen, Hui Xiong, Sihong Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a ser el detective doméstico definitivo. Normalmente, cuando enseñamos a los robots a moverse por una casa, les damos una misión sencilla: "Busca la pelota roja". Miran alrededor con sus ojos de cámara, quizás recuerdan por dónde han pasado y caminan hasta que detectan el objeto. Este campo de la ciencia se llama "navegación corporizada", donde un robot aprende a moverse a través del mundo real para resolver una tarea. Pero hay un inconveniente: la mayoría de estos juegos de entrenamiento son completamente silenciosos. El robot solo puede ver lo que tiene directamente frente a su lente. Si la pelota está detrás de una puerta cerrada o escondida en un rincón oscuro, el robot se queda estancado, ciego a todo lo que esté fuera de su vista actual.

Ahora, imagina darle a ese robot un superpoder: oídos. En el mundo real, el sonido no solo viaja en línea recta; rebota en las esquinas y se filtra por las grietas. Un robot con buenos oídos podría escuchar a un perro ladrar desde la habitación de al lado o un grifo goteando detrás de una pared, dándole una pista sobre hacia dónde ir incluso cuando aún no puede ver el objeto. Este artículo plantea una pregunta grande y complicada: ¿Qué pasa si combinamos estos dos superpoderes —la vista y el oído— pero hacemos que la misión sea mucho más difícil? En lugar de buscar solo una cosa, ¿qué pasaría si el robot tuviera que encontrar una lista entera de diferentes artículos, algunos descritos por palabras, otros por imágenes y otros simplemente por su nombre, todo mientras los sonidos en la casa siguen cambiando a medida que resuelve el rompecabezas?

Los investigadores detrás de este estudio, liderados por Rufeng Chen y colegas de la Universidad de Ciencia y Tecnología de Hong Kong y la Universidad de Jilin, han creado un nuevo desafío llamado LH-AVLN. Piensa en esto como un videojuego de alto nivel y múltiples niveles para robots. En este juego, el robot es dejado en una casa en 3D y se le da una "misión global" que contiene de dos a cuatro objetivos diferentes. Estos objetivos son complicados: uno podría ser "busca el sofá" (una categoría), otro podría ser "busca el sofá gris claro junto a las cortinas traslúcidas" (una descripción) y un tercero podría ser "busca esta imagen específica de una cama" (una referencia de imagen).

El verdadero giro, sin embargo, es el sonido. En este juego, cada artículo que el robot busca emite un ruido. Pero aquí está el truco: los sonidos no son objetivos fijos. A medida que el robot encuentra y completa un objetivo, el ruido de ese objeto cesa. Mientras tanto, los objetos que aún no ha encontrado siguen haciendo ruido, turnándose para ser los más fuertes. Esto crea una situación confusa. Si el robot está buscando un sofá, pero escucha un inodoro descargándose (porque aún no ha encontrado el inodoro), el sonido es una distracción. El robot tiene que descifrar: "¿Me está ayudando este sonido a encontrar mi objetivo actual, o es una pista falsa que me lleva hacia una tarea diferente y aún no terminada?".

Para probar esto, los autores crearon un conjunto de datos masivo con más de 150,000 episodios donde los robots tienen que navegar por estas misiones ruidosas y de múltiples objetivos. Descubrieron que los robots actuales, incluso los más inteligentes que son excelentes siguiendo instrucciones o recordando mapas visuales, tienen muchísimas dificultades. Cuando el sonido se vuelve confuso o la misión se alarga, estos robots se pieren o se rinden. No pueden distinguir entre una pista útil y un ruido distractor.

Para demostrar lo difícil que es esto, el equipo construyó su propio agente robótico llamado PAG-Nav. Este robot no utiliza un entrenamiento complejo para aprender; en su lugar, utiliza una estrategia ingeniosa. Mantiene un mapa mental de toda la casa, rastreando por dónde ha pasado, qué ha visto y de dónde provienen los sonidos. Utiliza el sonido para guiar su búsqueda cuando no puede ver nada, pero se niega a decir "¡lo encontré!" hasta que obtiene una mirada clara y nítida del objeto para asegurarse de que es el correcto. Incluso con esta estrategia inteligente, el robot solo tiene éxito en aproximadamente el 2% al 3% de las misiones ordenadas y en el 3% al 5% de las desordenadas.

El principal hallazgo de este artículo es que añadir el sonido a misiones largas y complejas hace que las cosas sean significativamente más difíciles, no más fáciles, para la tecnología actual. Los autores sugieren que, si bien el sonido es una herramienta poderosa para encontrar cosas ocultas de la vista, se convierte en una pesadilla si el robot no puede descifrar a qué tarea pertenece cada sonido. Argumentan que el futuro de la navegación robótica no es solo ver mejor o escuchar mejor, sino aprender a ignorar el ruido y concentrarse en la pista correcta en el momento adecuado. El artículo concluye que aún estamos lejos de resolver este rompecabezas, dejando mucho espacio para que futuros inventores construyan robots que realmente puedan navegar en un mundo ruidoso y multitarea.

Resumen Técnico: LH-AVLN

Definición del Problema

La navegación encarnada está evolucionando de episodios cortos de un solo objetivo hacia misiones de largo horizonte. Sin embargo, los benchmarks de largo horizonte existentes son mayoritariamente "acústicamente silenciosos", lo que obliga a los agentes a depender únicamente de sus campos visuales o de su memoria visual-semántica. Por el contrario, las tareas de navegación audiovisual existentes suelen centrarse en un único objetivo donde la señal acústica está fija a ese objetivo específico.

LH-AVLN (Navegación Audio-Visual-Lingüística de Largo Horizonte) aborda esta brecha introduciendo un benchmark que combina tres factores que normalmente se evalúan por separado:

Especificaciones de Objetivos Heterogéneos: Los objetivos se definen mediante la categoría del objeto, descripciones de lenguaje natural o imágenes de referencia.
Seguimiento de Progreso de Largo Horizonte: Los agentes deben completar misiones que comprenden de 2 a 4 objetivos, lo que requiere memoria persistente y seguimiento del progreso de la tarea.
Señales Acústicas Espacializadas Persistentes: A diferencia de las tareas de un solo objetivo, los sonidos en LH-AVLN están vinculados a la misión en lugar de a un objetivo estático. Los objetivos no completados emiten alternativamente audio binaural espacializado.

Desafío Central: La dificultad central es el anclaje de señales condicionado a la tarea (task-conditioned cue grounding). Las señales acústicas no son objetivos fijos; son información dependiente del progreso. Un sonido puede guiar la búsqueda de un objetivo incompleto, pero a medida que el agente completa las subtareas, ese mismo sonido puede volverse irrelevante o un distractor. El agente debe razonar sobre la fuente física de un sonido, asociarlo con el objetivo incompleto correcto, suprimir las señales irrelevantes y realizar una verificación visual-semántica antes de la entrega.

Metodología

El Benchmark (LH-AVLN)

Construido sobre SoundSpaces 2.0 utilizando escenas de Matterport3D, LH-AVLN genera episodios con las siguientes características:

Observaciones: Los agentes reciben observaciones egocéntricas RGB-D, pose y audio binaural.
Estructura de la Misión: Al inicio se proporciona una misión global $G = \{g_i\}_{i=1}^N$ ( $N \in \{2,3,4\}$ ). Los objetivos pueden ser ordenados (secuencia predefinida) o desordenados (el agente elige el orden).
Dinámica de Audio: Cada instancia de objetivo está asociada con una fuente de sonido espacializada. Los objetivos no completados emiten señales de forma alterna. Una vez que un objetivo se entrega con éxito, su fuente de sonido se desactiva. La fuente de sonido activa cambia con el tiempo, atrayendo potencialmente al agente hacia objetivos incompletos irrelevantes.
Modalidades de Objetivo:
- Categoría: Etiqueta del objeto (ej. "sofá").
- Descripción: Expresión de referencia en lenguaje natural (ej. "el sofá gris claro junto a las cortinas traslúcidas").
- Imagen: Imagen de referencia de la instancia del objetivo.
- Restricción: Los objetivos de descripción e imagen no incluyen etiquetas de categoría ni identificadores de instancia, lo que requiere que el agente infiera la semántica.

Agente de Referencia: PAG-Nav

Los autores presentan PAG-Nav, un agente modular sin entrenamiento diseñado para establecer una línea base diagnóstica. Opera bajo el principio de utilizar el audio para la búsqueda fuera de la línea de visión (non-line-of-sight search), reservando la correspondencia visual-semántica para la verificación final.

Componentes de la Arquitectura:

Percepción Condicionada al Objetivo: Codifica objetivos heterogéneos (categoría, texto, imagen) en incrustaciones de consulta (query embeddings). Proyecta las observaciones en semántica de la habitación, hipótesis de objetos y pistas de localización acústica.
Mapa Semántico Uniforme Temporal: Un módulo de memoria persistente ( $M_t$ $M_{t}$ ) que unifica:
- Memoria de la Habitación ( $R_t$ ): Contexto semántico.
- Memoria de Objetos ( $O_t$ ): Hipótesis de objetos persistentes y asociaciones de objetivos.
- Memoria de Audio ( $A_t$ ): Compuesta por una Memoria de Intensidad (acumulación de la fuerza acústica local para confirmación) y una Memoria de Orientación (Bearing Memory) (almacenamiento de observaciones direccionales para la exploración).
Planificación de Estado de Objetivo Progresiva: El agente cambia entre tres etapas basadas en el estado de anclaje del objetivo activo:
- Búsqueda (Search): Cuando no existe un candidato fiable, el agente utiliza prioridades semánticas y la orientación acústica para explorar fronteras.
- Anclaje de Candidatos (Candidate Grounding): Cuando existen candidatos plausibles, el agente los califica mediante compatibilidad visual-semántica, prioridades contextuales y consistencia de intensidad de audio.
- Verificación de Instancia (Instance Verification): El agente navega hacia una pose específica para verificar visualmente al candidato antes de emitir una acción de Submit. Las pistas acústicas guían el acercamiento, pero la verificación visual dispara la finalización.

Contribuciones Clave

Benchmark LH-AVLN: Un nuevo conjunto de evaluación para la navegación de largo horizonte que integra la ejecución de múltiples objetivos, modalidades de objetivos heterogéneas y pistas acústicas dinámicas y alternas. Destaca el desafío de distinguir las pistas acústicas relevantes de los distractores a medida que cambian los estados de la misión.
Línea Base Diagnóstica (PAG-Nav): Un agente sin entrenamiento que modela explícitamente la separación entre la búsqueda acústica y la verificación visual, demostrando que la memoria transmodal persistente es esencial para estas tareas.
Análisis Empírico: Una evaluación exhaustiva que muestra que los agentes actuales de última generación (lenguaje-visión, basados en memoria y audio-visuales) tienen dificultades significativas con las misiones completas de LH-AVLN, revelando modos de fallo específicos en el rechazo de distractores y la planificación de largo horizonte.

Resultados Experimentales

Los experimentos se realizaron tanto en entornos de misión ordenados como desordenados con 2–4 objetivos.

Rendimiento de la Línea Base: Los agentes de visión-lenguaje existentes (ej. MTU3D, 3D-Mem) lograron tasas de éxito muy bajas en misiones completas (ej. ~1.7% SR en entornos ordenados) debido a la falta de entrada de audio para la búsqueda fuera de la línea de visión. Los agentes preentrenados de audio-visual (ej. SAVI) mostraron un éxito de Oráculo (OSR) no trivial, indicando que el audio ayuda a localizar regiones sonoras, pero fallaron en completar misiones completas debido a la incapacidad de anclar objetivos heterogéneos o gestionar el progreso de múltiples objetivos.
Rendimiento de PAG-Nav: PAG-Nav superó a todas las líneas base, logrando la mayor Tasa de Éxito (SR) y Tasa de Éxito de Oráculo (OSR) en ambos entornos (ej. 2.3% SR ordenado, 3.1% SR desordenado).
Perspectiva Clave: Los resultados confirman que, si bien el audio ayuda a aproximarse a las regiones sonoras, la navegación exitosa de largo horizonte requiere la capacidad de suprimir sonidos irrelevantes para la tarea, rastrear el progreso de los objetivos y realizar la verificación de instancia visual-semántica. El bajo rendimiento de todos los agentes, incluido PAG-Nav, indica un margen sustancial para el progreso futuro.

Significado y Reivindicaciones

El artículo sostiene que LH-AVLN cambia fundamentalmente el paradigma de la navegación audio-visual de "seguir un sonido hacia un objetivo" a "razonar sobre la relevancia de los sonidos en un estado de misión cambiante".

Anclaje Acústico vs. Fusión: Los autores argumentan que el desafío central no es la fusión multimodal genérica, sino el anclado de pistas condicionado a la tarea. Los agentes deben determinar qué sonido corresponde al objetivo incompleto actual y qué sonidos se han convertido en distractores.
Limitaciones de los Métodos Actuales: El benchmark revela que los agentes encarnados actuales carecen de los mecanismos para manejar pistas acústicas alternas y persistentes en tareas de múltiples etapas. Tienen dificultades para mantener la memoria transmodal necesaria para vincular los sonidos con objetivos específicos a lo largo del tiempo.
Direcciones Futuras: El artículo posiciona a LH-AVLN como una herramienta diagnóstica para impulsar la investigación en agentes capaces de la gestión dinámica de pistas, la planificación de largo horizonte y la verificación visual-semántica robusta en entornos acústicamente ricos.