⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

Este artículo presenta LAIP, un marco de trabajo que aprovecha los tokens visuales intermedios y el agrupamiento espacial informado por audio para desbloquear capacidades de localización espacial de grano fino a partir de modelos de recuperación audiovisual a gran escala sin requerir supervisión a nivel de píxel, logrando un rendimiento de vanguardia en las evaluaciones de localización.

Autores originales: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Publicado 2026-07-29

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a entender el mundo no solo viéndolo, sino también escuchándolo. Este es el mundo del aprendizaje audio-visual, una rama de la inteligencia artificial donde las computadoras intentan comprender cómo se conectan el sonido y la vista. Piensa en ello como un detective que no solo ve la escena de un crimen, sino que también oye las sirenas, los cristales rompiéndose y los gritos, tratando de reconstruir exactamente de dónde proviene el ruido.

Durante mucho tiempo, enseñar a los robots a hacer esto fue como intentar construir una casa sin un plano. Para enseñarle a una computadora a señalar exactamente de dónde viene un sonido en un video, normalmente se necesita que un humano dibuje un cuadro alrededor de la fuente de ese sonido en cada uno de los fotogramas del video. Esto se llama "anotación espacial densa", y es increíblemente tedioso, costoso y lento. Es como pedirle a un amigo que dibuje el contorno perfecto de cada pájaro en una bandada durante una hora seguida. Debido a que esto es tan difícil, la mayoría de los investigadores se han visto obligados a utilizar pistas débiles, como saber simplemente que existe un sonido en un video, sin saber exactamente dónde está.

Sin embargo, recientemente, los científicos han construido modelos de recuperación masivos. Estos son sistemas de IA superinteligentes entrenados en millones de videos y sonidos para responder preguntas como: "Encuéntrame el clip de video que coincida con este audio". Son excelentes para emparejar la vibra general de un sonido con un video completo, pero son terribles para señalar el lugar específico donde está ocurriendo el sonido. Ven todo el bosque, pero pierden de vista el árbol específico que hace el ruido. La gran pregunta ha sido: ¿Podemos tomar estos modelos gigantes, pre-entrenados y excelentes para encontrar videos, y de alguna manera desbloquear su capacidad para señalar la fuente exacta de un sonido sin necesidad de contratar a un ejército de personas para dibujar cuadros?

La gran idea del artículo: Desbloqueando el mapa oculto

El artículo que estás leyendo, titulado "Unlocking Spatial Grounding in Large Audio-Visual Retrieval models" (Desbloqueando la localización espacial en modelos de recuperación audio-visuales de gran escala), dice: Sí, podemos. Los autores, un equipo de investigadores de Francia, Meta y NVIDIA, descubrieron que estos modelos de recuperación gigantes realmente saben dónde están los sonidos, pero simplemente ocultan esa información en lo profundo de su cerebro antes de desecharla.

Imagina una biblioteca gigante (el modelo de recuperación) que ha leído millones de libros (videos) y escuchado millones de audiolibros (sondos). Cuando le preguntas al bibliotecario: "¿Tienes un libro sobre un perro ladrando?", él puede encontrar instantáneamente el estante correcto. Pero si le preguntas: "¿Dónde exactamente en la imagen del perro está la boca ladrando?", el bibliotecario generalmente solo se encoge de hombros y dice: "Solo sé que es una imagen de un perro".

Los autores se dieron cuenta de que el bibliotecario no es realmente ignorante. El bibliotecario tiene un mapa detallado de la boca del perro en su cabeza, pero tira ese mapa a la basura en el momento en que decide darte una respuesta simple de "Sí, tengo un libro de perros". El artículo introduce un truco ingenioso llamado LAIP (Localización mediante Agrupación Informada por Audio) para capturar ese mapa antes de que sea desechado.

Cómo funciona LAIP: El detective de audio

El núcleo de su método es un nuevo módulo que llaman Agrupación Espacial Informada por Audio (AiSP). Así es como funciona en lenguaje sencillo:

La configuración: La IA observa un video fotograma a fotograma. Dentro de la IA, hay miles de "tokens" diminutos (pequeños fragmentos de datos) que representan diferentes partes de la imagen. Usualmente, la IA aplasta todos estos fragmentos en un único token de resumen gigante para decidir si el video coincide con el sonido. Esto es como tomar una pizza entera y machacarla en una sola bola de masa para ver si sabe a pepperoni. Pierdes la ubicación de las rebanadas de pepperoni.
La intervención: En lugar de dejar que la IA machaque todo inmediatamente, los autores insertan una "señal de alto" justo antes del resumen final. Toman el audio (el sonido del ladrido) y lo utilizan como una consulta (query).
La magia: Le preguntan al audio: "Oye, ¿con cuáles de estas pequeñas piezas de imagen estás hablando?". El audio actúa como una linterna, iluminando los tokens de imagen específicos que corresponden al sonido. La IA luego reúne solo esas piezas relevantes en un nuevo resumen.
El resultado: Debido a que la IA fue obligada a prestar atención a las partes específicas de la imagen que coinciden con el sonido, accidentalmente aprende a dibujar un mapa de dónde proviene el sonido. Es como si el bibliotecario, en lugar de solo entregarte el libro, tuviera que señalar la página y el párrafo exactos donde aparece la palabra "ladrido", solo para demostrar que encontró el libro correcto.

Lo que encontraron

Los resultados son sorprendentemente sólidos. Los autores probaron su método en tres bancos de pruebas diferentes (pruebas estándar para la IA):

AVATAR: En esta prueba, que busca sonidos en videos complejos y en movimiento, su método casi duplicó el rendimiento de los modelos anteriores más destacados. Pasaron de una puntuación de alrededor de 13-14% a 27.63% (CIoU) y 27.77% (AUC).
AVSBench: También lograron las mejores puntuaciones en esta prueba, con un F-score de 65.18 para sonidos de fuente única, superando el mejor anterior de 45.33.
ADE-SP: También aplastaron la competencia aquí, alcanzando 33.35 m-IoU y 53.57 mAP.

El artículo sugiere que esto funciona porque los modelos de recuperación gigantes ya fueron entrenados con cantidades masivas de datos, por lo que aprendieron conexiones ricas entre el sonido y la vista. Los autores no tuvieron que enseñarle a la IA qué es un perro o un coche desde cero; solo tuvieron que enseñarle cómo mirar la parte correcta de la imagen cuando escucha el sonido.

Lo que descartaron

Los autores fueron cuidadosos al mostrar lo que no funciona. Probaron otras ideas y las encontraron insuficientes:

Usar simplemente la capa final: Si intentas hacer esto en la etapa final del procesamiento de la IA (después de que ya ha machacado la imagen en un solo bloque), falla. Los detalles espaciales se han perdido. Tienes que hacerlo en las capas intermedias, donde la imagen aún es detallada.
Atención simple: Solo pedirle a la IA que mire la imagen una vez no es suficiente. Descubrieron que usar un enfoque jerárquico (hacerlo en pasos, como hacer zoom desde una vista amplia hacia un primer plano) es necesario.
Mapas de gradiente: Intentaron usar trucos matemáticos estándar para ver a qué estaba mirando la IA (llamados mapas basados en gradientes), pero fueron pésimos para encontrar el sonido, obteniendo solo 4.14 en comparación con sus 26.22. Esto demuestra que su método específico de "agrupación" (pooling) es lo que marca la diferencia, no solo mirar la matemática interna de la IA.

El inconveniente (Limitaciones)

El artículo es honesto sobre una limitación. Si bien este método hace que la IA sea excelente para encontrar dónde está un sonido, hace que sea ligeramente más difícil usar esa misma IA para su tarea original de encontrar videos rápidamente. Debido a que la IA ahora tiene que mirar el sonido para decidir en qué parte del video debe enfocarse, no puedes precalcular la "huella digital" del video y almacenarla en una base de datos para una búsqueda instantánea. Tienes que recalcularla cada vez que haces una pregunta. Los autores señalan que el modelo de recuperación original todavía funciona bien para la búsqueda, pero la versión "localizadora" es un poco más lenta para bases de datos masivas.

La conclusión

En resumen, este artículo demuestra que no necesitas construir una nueva IA desde cero para encontrar fuentes de sonido. Puedes tomar una IA gigante, pre-entrenada, que ya es buena emparejando sonidos con videos, y con un pequeño complemento inteligente (LAIP), puedes desbloquear su capacidad oculta para señalar exactamente de dónde viene el ruido. Es un recordatorio de que, a veces, la respuesta no es construir un cerebro más grande, sino enseñarle al cerebro existente cómo prestar atención a los detalles correctos.

Resumen Técnico: Desbloqueando la Localización Espacial en Grandes Modelos de Recuperación Audio-Visuales

Declaración del Problema

La localización de fuentes de sonido audio-visuales (AV-SSL, por sus siglas en inglés) tiene como objetivo identificar las regiones espaciales dentro de un fotograma de video que corresponden a una señal de audio sincronizada. Esta tarea es inherentemente desafiante debido a la escasez de fuentes de sonido en escenas visuales densas y congestionadas. Un cuello de botella principal es la escasez de anotaciones espaciales densas (máscaras a nivel de píxel) requeridas para el entrenamiento supervisado, ya que crearlas para clips de video largos es prohibitivamente costoso. En consecuencia, el campo ha dependido de métodos débilmente supervisados que utilizan únicamente pares audio-video alineados temporalmente.

Si bien el preentrenamiento contrastivo a gran escala ha producido modelos de recuperación multimodal potentes (por ejemplo, PE-AV) que alinean incrustaciones globales de audio y video, estos modelos están optimizados para el emparejamiento global en lugar de la correspondencia espacial local. En las arquitecturas de recuperación estándar, la información espacial densa se pierde progresivamente a través de los mecanismos de agrupación global en las capas superiores del backbone, lo que resulta en características de fotogramas y videos que carecen de la granularidad necesaria para una localización precisa. La pregunta central abordada por este trabajo es si estos modelos de recuperación a gran escala, que inherentemente descartan el detalle espacial, pueden adaptarse para recuperar la localización espacial de grano fino utilizando únicamente supervisión débil.

Metodología: Marco LAIP

Los autores proponen LAIP (Localización mediante Agrupación Informada por Audio), un marco diseñado para inyectar información visual alineada temporalmente en el backbone visual de un modelo de recuperación preentrenado antes de la agregación temporal.

Arquitectura Central

LAIP opera sobre un backbone de recuperación a gran escala (específicamente PE-AV), que consiste en codificadores de audio, fotograma y video. En lugar de entrenar un modelo de localización desde cero o adjuntar una cabeza pesada a las características congeladas, LAIP modifica la interfaz entre el codificador de fotogramas y el codificador de video.

Extracción de Características Intermedias: Reconociendo que el detalle espacial se suprime en las capas finales del codificador de fotogramas, LAIP extrae tokens visuales intermedios ( $V_t^\ell$ ) de una capa anterior (específicamente la capa 16 de un codificador de 24 capas).
Alineación Audio-Visual: Dado que el audio y el video operan a diferentes resoluciones temporales, un agregador local ligero (una red convolucional 1D seguida de un promedio temporal) alinea la corriente de audio con la frecuencia de fotogramas del video, produciendo una incrustación de audio sincronizada $a_t$ para cada fotograma.
Agrupación Espacial Informada por Audio (AiSP): La innovación central es el módulo AiSP, que reemplaza la agrupación global estándar. Emplea un diseño jerárquico que consta de tres capas AiSP apiladas, cada una seguida de un bloque de adaptación convolucional ligero.
- Mecanismo: En cada etapa, el token de audio actúa como una consulta (query) para atender a los tokens visuales espaciales. Los pesos de atención forman un mapa de segmentación, y los tokens visuales se agrupan dentro de bloques espaciales locales ( $K \times K$ ) ponderados por estos puntajes de atención.
- Token Nulo: Para manejar casos donde el audio no corresponde a ningún objeto visible (por ejemplo, sonidos fuera de pantalla), se añade un token nulo ( $x_\emptyset$ ) aprendible a las claves (keys). Esto permite que la consulta de audio se "abstenga" de seleccionar tokens visuales si no hay una fuente relevante presente.
- Refinamiento Progresivo: El apilamiento jerárquico reduce progresivamente la resolución espacial de los tokens visuales, colapsándolos en un único token visual condicionado por el audio ( $\tilde{c}_t$ ) que es compatible con el codificador de video original.

Objetivo de Entrenamiento

El modelo se entrena utilizando un objetivo contrastivo global inspirado en SigLIP y FLAIR, adaptado para el dominio audio-visual:

Pérdida Contrastiva ( $L_{SIG}$ ): La representación de video agrupada (generada vía LAIP) se alinea con el token [CLS] global de audio utilizando una pérdida contrastiva basada en la función sigmoide. Los pares negativos se forman mediante el desajuste de audio y video.
Regularización de Multi-Resolución ( $L_{MRes}$ ): Para asegurar que los mapas de atención intermedios sean espacialmente coherentes, un término de pérdida impone consistencia entre los mapas de atención en diferentes etapas de agrupación (sobremuestreando los mapas de menor resolución para que coincidan con los de mayor resolución).
Regularización del Token Nulo ( $L_\emptyset$ ): Se aplica una penalización a la atención prestada al token nulo para los pares negativos, fomentando que el modelo se abstenga de seleccionar regiones visuales cuando no hay presencia de sonido.
Adaptadores: Se añaden pequeños adaptadores a los bloques MLP del codificador de video para evitar que el modelo colapse imitando el token [CLS] original, mientras que el resto de los pesos preentrenados permanecen congelados.

Principales Contribuciones

Explotación de Representaciones de Recuperación: Los autores demuestran que los modelos de recuperación audio-visual a gran escala, a pesar de estar optimizados para el alineamiento global, retienen información espacial estructurada explotable en los tokens visuales intermedios. Esto permite la localización sin necesidad de anotaciones espaciales densas.
El Marco LAIP: Introducción de una arquitectura ligera informada por audio que inyecta consultas de audio en el backbone visual antes de la agrupación de video. Esto permite una fuerte sinergia transmodal manteniendo la compatibilidad con el flujo de recuperación preentrenado.
Supervisión Global para Tareas Locales: El trabajo muestra que un objetivo contrastivo global, cuando se combina con la arquitectura específica (agrupación jerárquica) y la regularización (consistencia multiescala y manejo del token nulo), es suficiente para aprender representaciones audio-visuales espaciales ricas.

Resultados Experimentales

El método fue evaluado en tres referentes: AVATAR, AVSBench y ADE-SP.

Referente AVATAR: LAIP logró el estado del arte en los cuatro escenarios (sonido único, sonido mixto, múltiples entidades, fuera de pantalla). Notablemente, casi duplica el rendimiento de los modelos anteriores en el referente AVATAR (por ejemplo, logrando ~27.6% de CIoU frente a ~13.4% del mejor anterior, TAVLO). Superó a las líneas base incluso cuando estas operaban a frecuencias de fotogramas más altas.
AVSBench: En los conjuntos de prueba de fuente única (S4) y múltiples fuentes (MS3), LAIP logró los mejores F-scores por un margen amplio y el mejor mask-IoU en la división desafiante MS3.
ADE-SP: El modelo superó a todas las líneas base, incluyendo aquellas diseñadas explícitamente para la segmentación inducida por sonido (por ejemplo, TACO, DenseAV), alcanzando 33.35 m-IoU y 53.57 mAP.
Estudios de Ablación: Los experimentos confirmaron la necesidad del diseño de agrupación jerárquica, la regularización de multi-resolución y el mecanismo del token nulo. Reemplazar la agrupación AiSP jerárquica con una sola capa de atención o utilizar características de la última capa del codificador resultó en caídas significativas de rendimiento.

Significado y Reivindicaciones

El artículo afirma que la localización precisa de la fuente de sonido no necesita aprenderse desde cero en conjuntos de datos pequeños y curados. En su lugar, puede "desbloquearse" de las representaciones de recuperación existentes a gran escala. Al intervenir antes de la etapa de agregación final de un backbone de recuperación, los autores proporcionan un camino unificado tanto para las tareas de recuperación como de localización.

El trabajo destaca que, aunque los modelos de recuperación comprimen la información espacial, las capas intermedias contienen suficiente estructura para ser recuperada mediante un mecanismo de agrupación informado por audio. Este enfoque ofrece un régimen práctico para AV-SSL que evita el costo de la anotación densa mientras aprovecha la riqueza semántica del preentrenamiento masivo.

Limitaciones: Los autores señalan una limitación respecto a la recuperación escalable. Debido a que las características visuales en LAIP están condicionadas por el audio de entrada, las representaciones de video no pueden precomputarse independientemente de la consulta. Aunque el modelo PE-AV original aún puede usarse para la recuperación estándar, el flujo mejorado por LAIP requiere la recomputación del codificador de video para cada par audio-video, lo cual es computacionalmente impráctico para sistemas de recuperación a gran escala. Se sugiere como trabajo futuro la recuperación de la escalabilidad de la recuperación manteniendo los beneficios de la localización.