💻 computer science

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

Este artículo presenta Mixture of Probes (MoP), un nuevo marco que aprovecha las modalidades privilegiadas disponibles únicamente durante el entrenamiento para mejorar significativamente los Modelos de Lenguaje Grandes Multimodales mediante el desenredo de señales específicas de la modalidad y señales generales a través de un sondeo estructurado y una estrategia de entrenamiento cross-modal especializada, logrando así ganancias sustanciales de rendimiento incluso cuando las modalidades auxiliares están ausentes en la inferencia.

Autores originales: Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Publicado 2026-07-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un robot superinteligente para que entienda el mundo. Normalmente, le darías una cámara, un micrófono y quizás incluso un sensor de profundidad 3D todo a la vez, con la esperanza de que aprenda a ver, oír y sentir todo perfectamente. Pero aquí está el truco: en el mundo real, es posible que ese robot solo tenga una cámara barata cuando salga a hacer su trabajo. Ya no tendrá el sensor 3D sofisticado ni el micrófono de alta calidad.

Este es el problema de la "modalidad privilegiada". Tienes todas las herramientas sofisticadas durante el entrenamiento, pero solo una herramienta sencilla durante la prueba real.

La vieja forma: Una licuadora confundida

La mayoría de los modelos de IA actuales intentan resolver esto simplemente lanzando todos los datos (video, audio, profundidad) en una gran licuadora y esperando que se mezclen en un batido perfecto. Tratan cada sensor como si fuera simplemente un sabor diferente del mismo ingrediente.

El artículo argumenta que este enfoque falla. Sugiere que el simple hecho de mezclar todo no ayuda al robot a aprender cómo usar el sofisticado sensor 3D para mejorar el uso de la cámara barata más tarde. De hecho, los autores descubrieron que entrenar con todos estos sensores a la vez a menudo funciona peor que entrenar con un solo sensor como el que realmente se usará. Es como intentar aprender a conducir un coche sentado en una cabina con un volante, un timón y un juego de remos todos conectados al mismo asiento; terminas confundido.

La nueva idea: La "Mezcla de Sondas" (MoP)

Los autores proponen un nuevo método llamado Mixture of Probes (MoP) (Mezcla de Sondas). En lugar de una licuadora, piensa en MoP como un equipo de detectives especializados trabajando dentro del cerebro del robot.

Dentro del "cerebro" del robot (la parte que procesa imágenes y sonidos), hay capas de pensamiento, como los pisos de un rascacielos. Los modelos antiguos solo miraban el piso superior para tomar decisiones. MoP, sin embargo, envía dos tipos de detectives para revisar cada piso:

Los Detectives Especializados (Sondas de Modalidad Específica): Estos tipos son expertos en una sola cosa. Un detective solo mira el video, otro solo el audio y otro solo los datos de profundidad. Aprenden las peculiaridades únicas de su sensor específico.
Los Detectives Generales (Sondas de Modalidad General): Estos son los pensadores de "visión global". Miran todos los sensores para encontrar las verdades comunes que se aplican a todo, independientemente de si es sonido o vista.

La salsa secreta: Mantenerlos separados

Aquí está la parte más importante: el artículo argumenta explícitamente que debes mantener estos dos tipos de detectives separados. Si empiezan a hablar demasiado entre sí o a copiar las notas del otro, colapsan en un grupo genérico y aburrido que no aprende nada nuevo.

Para evitar esto, los autores inventaron una regla especial llamada "Pérdida de Desentrelazamiento de Sondas" (Probe Disentanglement Loss). Piensa en esto como un profesor estricto que revisa constantemente los cuadernos de los detectives. Si el "Detective de Video" empieza a escribir las mismas notas que el "Detective de Audio", el profesor le da un golpe en la mano y le dice: "¡No! ¡Tienes que encontrar lo que es único para ti!". Esto obliga al robot a mantener los detalles únicos de cada sensor separados del conocimiento general que comparten.

¿Funcionó? Los números

Los autores probaron esto en dos grandes desafíos:

Vida Diaria (ADL): Entrenaron al robot con video egocéntrico (lo que ves desde tus propios ojos), video exocéntrico (lo que ve una cámara desde la distancia) y datos de profundidad. Luego, lo probaron usando solo uno de ellos a la vez.
Música: Lo entrenaron con audio y video de música, luego lo probaron usando solo audio o solo video.

Los resultados fueron bastante claros:

El enfoque de la "Licuadora" (Naive MLLM): Cuando simplemente mezclaron todo sin los detectives especiales, el robot no mejoró mucho. En la prueba de la vida diaria, obtuvo alrededor del 72.96% en video egocéntrico.
El enfoque MoP: Con los detectives especializados y generales manteniendo sus notas separadas, el robot saltó al 79.46% en esa misma tarea. ¡Eso es una mejora del 6.50% solo por usar los sensores adicionales durante el entrenamiento!
Aún más impresionante, cuando el robot fue probado usando solo el sensor de Profundidad (que nunca había visto solo antes), MoP aumentó la puntuación de 54.37% a 66.21%. ¡Es un salto masivo del 11.84%!

En las pruebas de música, MoP también superó a los otros métodos, mostrando ganancias del 5.45% en las pruebas de solo audio y del 1.64% en las de solo video.

Lo que esto significa (y lo que no)

El artículo sugiere que, al separar lo "especial" de lo "general", podemos enseñar a un robot a usar sus sofisticadas herramientas de entrenamiento para convertirse en un maestro de sus herramientas sencillas del mundo real.

Sin embargo, los autores son cuidadosos al señalar algunos límites:

Esto solo funciona si el robot utiliza un cerebro único y compartido (un codificador universal) para procesar todos los sensores. No funciona si el robot tiene cerebros totalmente separados para cada sensor.
Solo probaron al robot cuando tenía un sensor en el momento de la prueba. No probaron qué sucede si el robot tiene dos sensores al final.
Los resultados se basan en conjuntos de datos específicos (como Ego-in-Exo Perception y Music-AVQA), por lo que, aunque las matemáticas parecen sólidas allí, es una sugerencia de que este método podría funcionar en otros lugares, no una garantía para cada robot del mundo.

En resumen, el artículo sugiere que si quieres que tu IA sea inteligente con herramientas limitadas, no te limites a alimentarla con todo y esperar lo mejor. Dale un equipo de especialistas y un generalista, asegúrate de que no se copien entre sí, y deja que aprendan de las herramientas sofisticadas para que puedan brillar con las sencillas.

Resumen Técnico: Mezcla de Sondas (MoP) para Modalidades Privilegiadas en MLLMs

1. Formulación del Problema: El Escenario de la Modalidad Privilegiada

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) se diseñan típicamente bajo el supuesto de que todas las modalidades disponibles durante el entrenamiento (por ejemplo, video, profundidad, audio) también serán accesibles durante la inferencia. Sin embargo, el despliegue en el mundo real suele violar este supuesto. Un modelo puede ser entrenado con flujos auxiliares ricos (modalidades privilegiadas) pero debe operar utilizando únicamente una única modalidad, más barata o más fiable, en el momento de la prueba. Este escenario se define como el escenario de la modalidad privilegiada.

Los MLLMs existentes tienen dificultades en este escenario porque tratan principalmente las modalidades como entradas intercambiables para ser alineadas en un espacio de representación compartido. No logran aprovechar eficazmente las modalidades auxiliares disponibles solo durante el entrenamiento para mejorar el rendimiento de la modalidad objetivo durante la inferencia. Los autores identifican dos limitaciones clave en los enfoques actuales:

Representaciones de modalidad subóptimas: Las nuevas modalidades suelen incorporarse mediante codificadores compartidos con una adaptación limitada en las capas finales, lo que descuida las características intermedias que capturan señales de bajo nivel y específicas de la modalidad.
Representaciones cross-modales no estructuradas: Los métodos existentes carecen de mecanismos explícitos para desentrelazar la información general de la modalidad (transferible entre modalidades) de la información específica de la modalidad, lo que dificulta la transferencia efectiva de conocimiento.

2. Metodología: Mezcla de Sondas (MoP)

Para abordar estas limitaciones, los autores proponen Mixture of Probes (MoP), un marco diseñado para desentrelazar las señales específicas de la modalidad y las generales de la modalidad dentro de un MLLM. La intuición central, inspirada en la neurociencia y la Hipótesis de Enfoque de la Modalidad, es que la transferencia cross-modal efectiva requiere preservar las estructuras únicas de la modalidad mientras se aíslan las abstracciones compartidas.

2.1 Arquitectura

MoP aumenta una arquitectura estándar de MLLM unificado (que consiste en tokenizadores específicos de la modalidad, un codificador de modalidad universal, un conector y un LLM) con un mecanismo de sondeo estructurado:

Codificador de Modalidad Universal: Un codificador Transformer compartido procesa las entradas tokenizadas de todas las modalidades en un espacio latente común.
Sondas Aprendibles (Learnable Probes): En lugar de depender únicamente de la capa final del codificador, MoP introduce dos familias de tokens aprendibles (sondas) que interactúan con las representaciones intermedias del codificador:
- Sondas Específicas de la Modalidad ( $P^m_s$ ): Un conjunto de sondas condicionadas únicamente a una modalidad específica $m$ . Estas capturan señales únicas de esa modalidad.
- Sondas Generales de la Modalidad ( $P_g$ ): Un conjunto compartido de sondas condicionadas en todas las modalidades. Estas capturan información estructural común entre las modalidades.
Interacción por Capas: Ambos conjuntos de sondas se actualizan en cada capa $l$ del codificador mediante atención cruzada con los estados ocultos del codificador ( $H^m_l$ ). Las sondas actúan como consultas (queries), extrayendo pistas salientes de las representaciones intermedias que podrían perderse en la capa final.
Integración: Después de la última capa del codificador, los tokens de las sondas se proyectan en el espacio de embedding del LLM y se concatenan con los tokens de la modalidad estándar antes de ser alimentados al LLM.

2.2 Entrenamiento Cross-modal de MoP (MoP-X)

Para asegurar que las sondas aprendan representaciones distintas y faciliten la transferencia cross-modal, los autores introducen una estrategia de entrenamiento específica:

Pérdida de Desentrelazamiento de Sondas ( $\mathcal{L}_{dis}$ ): Una función de pérdida que penaliza explícitamente la similitud entre las sondas específicas de la modalidad y las sondas generales de la modalidad, así como entre diferentes sondas específicas de la modalidad. Esto evita el "colapso de la sonda" (donde las sondas convergen a representaciones idénticas) y fomenta que el modelo aprenda características especializadas y ortogonales.
Lote Intercalado de Modalidades (Modality-Interleaved Batching): A diferencia de los métodos que entrenan las modalidades de forma secuencial o aislada, MoP-X construye mini-lotes muestreando ejemplos de múltiples modalidades simultáneamente. Esto asegura que los componentes compartidos (como las sondas generales de la modalidad) estén expuestos a señales heterogéneas dentro de un mismo paso de optimización, facilitando la interacción cross-modal indirecta.

El objetivo de entrenamiento total combina la pérdida estándar de modelado de lenguaje autorregresivo ( $\mathcal{L}_{AR}$ ) con la pérdida de desentrelazamiento:
$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$

3. Evaluación Experimental

Los autores evalúan MoP en dos dominios, ocho tareas y cuatro modalidades bajo un protocolo riguroso donde cada modalidad es tratada como la única entrada en el momento de la inferencia.

3.1 Dominios y Benchmarks

Actividades de la Vida Diaria (ADL): Evaluado en el benchmark Ego-in-Exo Perception. El entrenamiento utiliza video egocéntrico, video exocéntrico y profundidad. La inferencia se prueba por separado en las modalidades egocéntrica, exocéntrica y de profundidad.
Comprensión Musical: Evaluado en Music-AVQA. El entrenamiento utiliza datos audiovisuales emparejados. La inferencia se prueba por separado en las modalidades de audio y video.

3.2 Baselines (Líneas de Base)

MoP se compara contra:

MLLM Unimodal: Entrenado solo en la modalidad de inferencia objetivo.
MLLM Naive: Entrenado conjuntamente en todas las modalidades sin mecanismos estructurados cross-modales.
MLLMs de Vanguardia (SOTA): Incluyendo X-InstructBLIP y OneLLM, que se centran en la alineación multimodal.

3.3 Resultados Clave

Rendimiento Superior: MoP supera consistentemente a todos los baselines en todas las modalidades de inferencia. En el dominio ADL, logra hasta un 65% de mejora relativa sobre los baselines fuertes en configuraciones específicas (por ejemplo, inferencia de profundidad).
Aprendizaje de Privilegio Eficaz: A diferencia del MLLM Naive, que a menudo no logra mejorar sobre los baselines unimodales cuando se entrena con múltiples modalidades, MoP aprovecha con éxito las modalidades auxiliares para potenciar el rendimiento de la modalidad única.
Estudios de Ablación:
- Tipos de Sonda: Eliminar las sondas específicas de la modalidad o las sondas generales de la modalidad degrada el rendimiento, confirmando la necesidad de ambas.
  la pérdida de desentrelazamiento es crítica; sin ella, la varianza de la sonda colapsa y el rendimiento cae significamente.
- Profundidad de Sondeo: El sondeo en cada capa del codificador ofrece los mejores resultados, lo que sugiere el beneficio de extraer señales a lo largo de la profundidad del modelo.
- Escalado de Datos: MoP demuestra ganancias de rendimiento consistentes a medida que escala los datos de entrenamiento, mientras que los MLLMs Naive muestran rendimientos decrecientes.

4. Contribuciones y Significado

El artículo reclama las siguientes contribuciones:

Formalización del Escenario de la Modalidad Privilegiada: Los autores formalizan el escenario donde las modalidades auxiliares enriquecen el entrenamiento pero están ausentes en la inferencia, demostrando que el entrenamiento multimodal estándar falla al explotar esta asimetría.
Mezcla de Sondas (MoP): Una arquitectura novedosa que aprende representaciones desentrelazadas mediante el sondeo estructurado a través de la profundidad de un codificador universal, separando las señales específicas de la modalidad de las abstracciones generales de la modalidad.
Entrenamiento Cross-modal de MoP (MoP-X): Una estrategia de entrenamiento que presenta una pérdida de desentrelazamiento de sondas y un lote intercalado para forzar la separación de representaciones y promover la interacción cross-modal.
Validación Empírica: Una evaluación exhaustiva que muestra que las modalidades auxiliares, cuando se aprovechan adecuadamente mediante MoP, pueden mejorar sustancialmente el rendimiento de la inferencia de una sola modalidad, superando tanto a los modelos unimodales como a los métodos de alineación multimodal existentes.

Significado: El trabajo desafía el paradigma prevalente de tratar las modalidades simplemente como entradas intercambiables para la alineación. En su lugar, postula que la clave para aprovechar la información privilegiada reside en estructurar explícitamente el modelo para separar lo que es único de una modalidad de lo que es compartido. Esto permite que los MLLM "aprendan de" datos ricos que no estarán disponibles en la inferencia para volverse más robustos y capaces en escenarios de despliegue de una sola modalidad con restricciones.

Limitaciones: Los autores señalan que MoP actualmente asume un codificador de modalidad universal y no se extiende directamente a codificadores específicos de la modalidad heterogéneos. Además, el estudio se centra estrictamente en el escenario de inferencia de una sola modalidad, dejando los escenarios de inferencia multimodal para trabajos futuros.