💻 computer science

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

Este artigo introduz o Mixture of Probes (MoP), um novo framework que aproveita modalidades privilegiadas disponíveis apenas durante o treinamento para aprimorar significativamente os Grandes Modelos de Linguagem Multimodais através do desmembramento de sinais específicos de modalidade e sinais gerais por meio de sondagem estruturada e uma estratégia de treinamento cross-modal especializada, alcançando, assim, ganhos substanciais de desempenho mesmo quando as modalidades auxiliares estão ausentes na inferência.

Autores originais: Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um robô superinteligente para entender o mundo. Normalmente, você daria a ele uma câmera, um microfone e, talvez, até um sensor de profundidade 3D de uma só vez, esperando que ele aprenda a ver, ouvir e sentir tudo perfeitamente. Mas aqui está o detalhe: no mundo real, esse robô pode ter apenas uma câmera barata quando sair para fazer seu trabalho. Ele não terá mais o sensor 3D sofisticado ou o microfone de alta qualidade.

Este é o problema da "modalidade privilegiada". Você tem todas as ferramentas sofisticadas durante o treinamento, mas tem apenas uma ferramenta simples durante o teste real.

O Jeito Antigo: Um Liquidificador Confuso

A maioria dos modelos de IA atuais tenta resolver isso apenas jogando todos os dados (vídeo, áudio, profundidade) em um grande liquidificador e esperando que eles se misturem em um smoothie perfeito. Eles tratam cada sensor como se fosse apenas um sabor diferente do mesmo ingrediente.

O artigo argumenta que essa abordagem falha. Ele sugere que simplesmente misturar tudo não ajuda o robô a aprender como usar o sensor 3D sofisticado para melhorar o uso da câmera barata mais tarde. Na verdade, os autores descobriram que apenas treinar com todos esses sensores ao mesmo tempo muitas vezes tem um desempenho pior do que treinar com apenas o único sensor que você realmente usará. É como tentar aprender a dirigir um carro sentado em um cockpit com um volante, um leme e um conjunto de remos todos presos ao mesmo assento; você acaba ficando confuso.

A Nova Ideia: A "Mistura de Sondas" (Mixture of Probes - MoP)

Os autores propõem um novo método chamado Mixture of Probes (MoP). Em vez de um liquidificador, pense no MoP como uma equipe de detetives especializados trabalhando dentro do cére-lo do robô.

Dentro do "cérebro" do robô (a parte que processa imagens e sons), existem camadas de pensamento, como os andares de um arranha-céu. Os modelos antigos olhavam apenas para o último andar para tomar decisões. O MoP, no entanto, envia dois tipos de detetives para verificar cada andar:

Os Detetives Especializados (Sondas Específicas de Modalidade): Estes são especialistas em apenas uma coisa. Um detetive olha apenas para o vídeo, outro apenas para o áudio e outro apenas para os dados de profundidade. Eles aprendem as peculiaridades únicas de seu sensor específico.
Os Detetives Generalistas (Sondas Gerais de Modalidade): Estes são os pensadores do "quadro geral". Eles olham para todos os sensores para encontrar as verdades comuns que se aplicam a tudo, independentemente de ser som ou visão.

O Ingrediente Secreto: Mantê-los Separados

Aqui está a parte mais importante: o artigo argumenta explicitamente que você deve manter esses dois tipos de detetives separados. Se eles começarem a conversar demais entre si ou a copiar as notas uns dos outros, eles colapsam em um grupo genérico e entediante que não aprende nada de novo.

Para evitar isso, os autores inventaram uma regra especial chamada "Perda de Desentranhamento de Sonda" (Probe Disentanglement Loss). Pense nisso como um professor rigoroso que verifica constantemente os cadernos dos detetives. Se o "Detetive de Vídeo" começar a escrever as mesmas notas que o "Detetive de Áudio", o professor dá um tapa na mão dele e diz: "Não! Você precisa encontrar o que é único para você!". Isso força o robô a manter os detalhes únicos de cada sensor separados do conhecimento geral que eles compartilham.

Funcionou? Os Números

Os autores testaram isso em dois grandes desafios:

Vida Diária (ADL): Eles treinaram o robô com vídeo egocêntrico (o que você vê através dos seus próprios olhos), vídeo exocêntrico (o que uma câmera vê de longe) e dados de profundidade. Depois, testaram usando apenas um deles por vez.
Música: Eles o treinaram com áudio e vídeo de música, depois o testaram usando apenas áudio ou apenas vídeo.

Os resultados foram bem claros:

A abordagem do "Liquidificador" (Naive MLLM): Quando eles apenas misturaram tudo sem os detetives especiais, o robô não melhorou muito. No teste de vida diária, ele obteve cerca de 72,96% em vídeo egocêntrico.
A abordagem MoP: Com os detetives especializados e generalistas mantendo suas notas separadas, o robô saltou para 79,46% nessa mesma tarefa. Isso é uma melhoria de 6,50% apenas usando os sensores extras durante o treinamento!
Ainda mais impressionante: quando o robô foi testado usando apenas o sensor de Profundidade (que ele nunca tinha visto sozinho antes), o MoP elevou a pontuação de 54,37% para 66,21%. Esse é um salto massivo de 11,84%.

Nos testes de música, o MoP também superou os outros métodos, mostrando ganhos de 5,45% em testes de apenas áudio e 1,64% em testes de apenas vídeo.

O Que Isso Significa (e O Que Não Significa)

O artigo sugere que, ao separar o "especial" do "geral", podemos ensinar um robô a usar suas ferramentas sofisticadas de treinamento para se tornar um mestre de suas ferramentas simples do mundo real.

No entanto, os autores são cuidadosos ao notar algumas limitações:

Isso só funciona se o robô usar um único cérebro compartilhado (um codificador universal) para processar todos os sensores. Não funciona se o robô tiver cérebros totalmente separados para cada sensor.
Eles testaram o robô apenas quando ele tinha um sensor no momento do teste. Eles não testaram o que acontece se o robô tiver dois sensores ao final.
Os resultados baseiam-se em conjuntos de dados específicos (como Ego-in-Exo Perception e Music-AVQA), portanto, embora a matemática pareça sólida nesses casos, é uma sugestão de que este método poderia funcionar em outros lugares, não uma garantia para cada robô no mundo.

Em resumo, o artigo sugere que, se você quer que sua IA seja inteligente com ferramentas limitadas, não apenas a alimente com tudo e espere pelo melhor. Dê a ela uma equipe de especialistas e um generalista, certifique-se de que eles não copiem uns aos outros e deixe que aprendam com as ferramentas sofisticadas para que possam brilhar com as simples.

Resumo Técnico: Mistura de Sondas (Mixture of Probes - MoP) para Modalidades Privilegiadas em MLLMs

1. Formulação do Problema: O Cenário de Modalidade Privilegiada

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são tipicamente projetados sob a premissa de que todas as modalidades disponíveis durante o treinamento (ex: vídeo, profundidade, áudio) também estarão acessíveis durante a inferência. No entanto, a implantação no mundo real frequentemente viola essa suposição. Um modelo pode ser treinado com fluxos auxiliares ricos (modalidades privilegiadas), mas deve operar utilizando apenas uma única modalidade, mais barata ou mais confiável, no momento do teste. Este cenário é definido como o cenário de modalidade privilegiada.

Os MLLMs existentes têm dificuldade neste cenário porque os tratam primariamente como entradas multimodais intercambiáveis para serem alinhadas em um espaço de representação compartilhado. Eles falham em aproveitar efetivamente as modalidades auxiliares disponíveis apenas durante o treinamento para melhorar o desempenho da modalidade alvo na inferência. Os autores identificam duas limitações principais nas abordagens atuais:

Representações de modalidade subótimas: Novas modalidades são frequentemente incorporadas via codificadores compartilhados com adaptação limitada nas camadas finais, negligenciando características intermediárias que capturam sinais de baixo nível específicos de cada modalidade.
Representações cross-modais não estruturadas: Os métodos existentes carecem de mecanismos explícitos para desentrançar informações gerais da modalidade (transferíveis entre modalidades) de informações específicas da modalidade, dificultando a transferência de conhecimento eficaz.

2. Metodologia: Mistura de Sondas (Mixture of Probes - MoP)

Para abordar essas limitações, os autores propõem o Mixture of Probes (MoP), um framework projetado para desentrançar sinais específicos de modalidade e sinais gerais de modalidade dentro de um MLLM. A intuição central, inspirada na neurociência e na Hipótese de Foco de Modalidade, é que a transferência cross-modal eficaz requer a preservação de estruturas únicas de modalidade enquanto se isolam abstrações compartilhadas.

2.1 Arquitetura

O MoP aumenta uma arquitetura padrão de MLLM unificado (consistindo em tokenizadores específicos de modalidade, um codificador de modalidade universal, um conector e um LLM) com um mecanismo de sondagem estruturado:

Codificador de Modalidade Universal: Um codificador Transformer compartilhado processa entradas tokenizadas de todas as modalidades em um espaço latente comum.
Sondas Aprendíveis (Learnable Probes): Em vez de depender apenas da camada final do codificador, o MoP introduz duas famílias de tokens aprendíveis (sondas) que interagem com as representações intermediárias do codificador:
- Sondas Específicas de Modalidade ( $P^m_s$ ): Um conjunto de sondas condicionadas apenas a uma modalidade $m$ específica. Elas capturam sinais únicos dessa modalidade.
- Sondas Gerais de Modalidade ( $P_g$ ): Um conjunto compartilhado de sondas condicionadas em todas as modalidades. Elas capturam informações estruturais comuns entre as modalidades.
Interação por Camada: Ambos os conjuntos de sondas são atualizados em cada camada $l$ do codificador via atenção cruzada (cross-attention) com os estados ocultos do codificador ( $H^m_l$ ). As sondas atuam como consultas (queries), extraindo pistas salientes das representações intermediárias que poderiam ser perdidas na camada final.
Integração: Após a camada final do codificador, os tokens das sondas são projetados no espaço de embedding do LLM e concatenados com os tokens de modalidade padrão antes de serem alimentados ao LLM.

2.2 Treinamento Cross-modal MoP (MoP-X)

Para garantir que as sondas aprendam representações distintas e facilitem a transferência cross-modal, os autores introduzem uma estratégia de treinamento específica:

Perda de Desentranhamento de Sonda ( $\mathcal{L}_{dis}$ ): Uma função de perda que penaliza explicitamente a similaridade entre as sondas específicas de modalidade e as sondas gerais de modalidade, bem como entre diferentes sondas específicas de modalidade. Isso evita o "colapso de sonda" (onde as sondas convergem para representações idênticas) e incentiva o modelo a aprender características especializadas e ortogonais.
Lote Intercalado de Modalidades (Modality-Interleaved Batching): Ao contrário dos métodos que treinam modalidades sequencialmente ou isoladamente, o MoP-X constrói mini-lotes amostrando exemplos de múltiplas modalidades simultaneamente. Isso garante que os componentes compartilhados (como as sondas gerais de modalidade) sejam expostos a sinais heterogêneos dentro de um único passo de otimização, facilitando a interação cross-modal indireta.

O objetivo total de treinamento combina a perda padrão de modelagem de linguagem autorregressiva ( $\mathcal{L}_{AR}$ ) com a perda de desentranhamento:
$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$

3. Avaliação Experimental

Os autores avaliam o MoP em dois domínios, oito tarefas e quatro modalidades sob um protocolo rigoroso onde cada modalidade é tratada como a única entrada no momento da inferência.

3.1 Domínios e Benchmarks

Atividades da Vida Diária (ADL): Avaliado no benchmark Ego-in-Exo Perception. O treinamento utiliza vídeo egocêntrico, vídeo exocêntrico e profundidade. A inferência é testada separadamente nas modalidades egocêntrica, exocêntrica e de profundidade.
Compreensão Musical: Avaliado no Music-AVQA. O treinamento utiliza dados áudio-visuais pareados. A inferência é testada separadamente nas modalidades de áudio e vídeo.

3.2 Baselines (Linhas de Base)

O MoP é comparado contra:

MLLM Unimodal: Treinado apenas na modalidade de inferência alvo.
MLLM Ingênuo (Naive MLLM): Treinado conjuntamente em todas as modalidades sem mecanismos estruturados de cross-modalidade.
MLLMs de Estado da Arte: Incluindo X-InstructBLIP e OneLLM, que focam no alinhamento multimodal.

3.3 Principais Resultados

Desempenho Superior: O MoP supera consistentemente todos os baselines em todas as modalidades de inferência. No domínio ADL, ele alcança até 65% de melhoria relativa sobre baselines fortes em configurações específicas (ex: inferência de profundidade).
Aprendizado Privilegiado Eficaz: Diferente do MLLM Ingênuo, que muitas vezes falha em melhorar sobre os baselines unimodais ao ser treinado em múltiplas modalidades, o MoP aproveita com sucesso as modalidades auxiliares para impulsionar o desempenho de modalidade única.
Estudos de Ablação:
- Tipos de Sonda: Remover as sondas específicas de modalidade ou as sondas gerais de modalidade degrada o desempenho, confirmando a necessidade de ambas.
- Perda de Desentranhamento: A perda é crítica; sem ela, a variância das sondas colapsa e o desempenho cai significativamente.
- Profundidade de Sondagem: Sondar em cada camada do codificador produz os melhores resultados, sugerindo o benefício de extrair sinais ao longo da profundidade do modelo.
- Escalabilidade de Dados: O MoP demonstra ganhos de desempenho consistentes conforme os dados de treinamento escalam, enquanto os MLLMs Ingênuos mostram retornos decrescentes.

4. Contribuições e Significância

O artigo reivindica as seguintes contribuições:

Formalização do Cenário de Modalidade Privilegiada: Os autores formalizam o cenário onde modalidades auxiliares enriquecem o treinamento, mas estão ausentes na inferência, demonstrando que o treinamento multimodal padrão falha em explorar essa assimetria.
Mistura de Sondas (Mixture of Probes - MoP): Uma nova arquitetura que aprende representações desentranadas através de sondagem estruturada ao longo da profundidade de um codificador universal, separando sinais específicos de modalidade de abstrações gerais de modalidade.
Treinamento Cross-modal MoP (MoP-X): Uma estratégia de treinamento apresentando uma perda de desentranhamento de sonda e lote intercalado para impor a separação de representação e promover a interação cross-modal.
Validação Empírica: Avaliação abrangente mostrando que as modalidades auxiliares, quando devidamente aproveitadas via MoP, podem melhorar substancialmente o desempenho de inferência de modalidade única, superando tanto modelos unimodais quanto métodos de alinhamento multimodal existentes.

Significância: O trabalho desafia o paradigma prevalecente de tratar as modalidades meramente como entradas intercambiáveis para alinhamento. Em vez disso, postula que a chave para aproveitar a informação privilegiada reside em estruturar explicitamente o modelo para separar o que é único de uma modalidade do que é compartilhado. Isso permite que os MLLMs "aprendam com" dados ricos, indisponíveis na inferência, para se tornarem mais robustos e capazes em cenários de implantação de modalidade única com restrições.

Limitações: Os autores observam que o MoP atualmente assume um codificador de modalidade universal e não se estende diretamente a codificadores específicos de modalidade heterogêneos. Além disso, o estudo foca estritamente no cenário de inferência de modalidade única, deixando cenários de inferência multimodal para trabalhos futuros.