Perceive What Matters: Relevance-Driven Scheduling for Multimodal Streaming Perception

Título: Perceber o que Importa: Agendamento Impulsionado por Relevância para Percepção Multimodal em Streaming

1. Problema Identificado

Na colaboração humano-robô (HRC), os robôs dependem de múltiplos módulos de percepção (visão, áudio, contexto) para compreender o ambiente e fornecer assistência adequada. O desafio central reside no conflito entre a qualidade da percepção e a latência computacional em cenários de streaming (tempo real):

• Abordagem Tradicional: Executar todos os módulos de percepção quadro a quadro (frame-by-frame) garante alta precisão, mas acumula latência significativa, degradando o desempenho do sistema em tempo real.
• Limitações de Métodos Atuais:
  • Agendamento por Prontidão: Módulos pesados são ativados periodicamente assim que ficam prontos, ignorando se a informação gerada é nova ou relevante.
  • Abordagens Baseadas em Keyframes: Selecionam quadros importantes baseados em mudanças visuais ou movimento, mas muitas vezes são task-agnostic (não consideram a necessidade específica da tarefa) e exigem acesso ao vídeo completo, o que inviabiliza seu uso em sistemas de tempo real.
  • Otimização de Pipeline: Focam em reduzir custos dentro de um único quadro (ex: mudar resolução), mas não decidem se um módulo deve ser ativado ou não, desperdiçando recursos em quadros redundantes.

2. Metodologia Proposta

Os autores propõem um framework de agendamento de percepção leve e adaptativo que seleciona quais módulos executar em cada quadro com base no contexto da cena e na informação já disponível. O sistema é inspirado no conceito de "Relevância" e no sistema de ativação reticular humano.

Componentes Principais do Framework:

• Segmentação da Região de Percepção:

  • A cena é dividida em regiões (fundo, objetos, humanos).
  • Utiliza o quadro anterior ($I_{k-1}$) para estimar o status de movimento (via diferença de quadros) e atualizar o estado de relevância (probabilidade de a região ser importante para o objetivo humano).

• Estimativa de Recompensa (Reward Estimation):

  • Cada módulo de percepção ($m_j$) recebe uma pontuação de recompensa ($\rho_j^k$) baseada no trade-off entre ganho de informação esperado e custo computacional.
  • Fórmula: $\rho_j^k = \Phi_R(S_k, m_j) - C_j$
    • $\Phi_R$: Ganho de informação estimado (baseado em teoria da informação/entropia).
    • $C_j$: Penalidade de custo (tempo de inferência).
  • Modelos Específicos:
    • Detecção de Objetos (YOLO): O ganho de informação é calculado pela redução da entropia nas estimativas das caixas delimitadoras (usando Filtro de Kalman) e pela detecção de entrada/saída de objetos na cena.
    • Estimativa de Pose Humana (MMPose): O ganho é medido pela redução da incerteza ao passar de uma caixa delimitadora (localização grosseira) para keypoints precisos. A incerteza é modelada como uma distribuição gaussiana baseada na confiança do modelo e na propagação do estado.

• Seletor de Módulos:

  • O sistema resolve um problema de otimização para maximizar a recompensa acumulada.
  • A decisão é simplificada: um módulo é ativado se sua recompensa estimada for positiva ($\rho > 0$) ou se houver uma necessidade pré-determinada.
  • Se um módulo não for ativado, seu estado é estimado via modelos de movimento ou filtragem (ex: Kalman), mantendo a continuidade do fluxo de percepção sem o custo total de inferência.

3. Contribuições Chave

1. Conceito de Agendamento de Percepção: Introdução de uma nova abordagem que otimiza a ativação de módulos em sistemas multimodais, focando na redução da carga computacional global em vez de apenas na otimização de quadros individuais.
2. Metodologia Baseada em Teoria da Informação: Proposta de um princípio versátil para estimar a utilidade da ativação de módulos, quantificando o ganho de informação (redução de entropia) versus o custo computacional.
3. Nova Métrica de Avaliação: Desenvolvimento de uma métrica para cenários de streaming que considera os efeitos da latência e fornece um benchmark prático de desempenho.
4. Validação Experimental: Demonstração robusta através de experimentos em múltiplos domínios de vídeo, provando a eficiência computacional sem comprometer significativamente a qualidade perceptiva.

4. Resultados Experimentais

Os testes foram realizados em três domínios de vídeo (Leitura Indoor, Alimentação, Caminhada) comparando o framework proposto com um Pipeline Paralelo Convencional e um Agendamento Oráculo (ideal).

• Redução de Latência: O framework proposto reduziu a latência computacional em até 27,52% em comparação com pipelines paralelos convencionais. A redução foi mais expressiva em cenários estáticos (Leitura), onde a informação redundante é alta.
• Melhoria no Recall de Ativação (MMPose): Houve uma melhoria de 72,73% no recall de ativação do módulo de pose humana (MMPose), especialmente em cenas dinâmicas (Caminhada), onde o sistema conseguiu identificar quadros críticos que o pipeline paralelo perdeu devido à latência.
• Precisão de Keyframes: O framework alcançou taxas de precisão na identificação de quadros importantes de até 98% (ex: 97% para YOLO em Leitura), demonstrando alta capacidade de prever quando a ativação é necessária, independentemente da latência de inferência.
• Compromisso (Trade-off): Houve uma leve redução no recall do YOLO, mas considerada insignificante frente aos ganhos de eficiência. O sistema mantém a qualidade perceptiva necessária para tarefas colaborativas.

5. Significado e Impacto

Este trabalho representa um avanço significativo para a colaboração humano-robô (HRC) e sistemas de percepção em tempo real:

• Eficiência de Recursos: Permite que robôs com recursos computacionais limitados executem múltiplos modelos pesados (como VLMs ou detectores complexos) de forma escalável, ativando-os apenas quando estritamente necessário.
• Adaptabilidade Contextual: O sistema não apenas reage a mudanças visuais, mas entende a "relevância" baseada na intenção humana e no contexto da tarefa, imitando a atenção seletiva humana.
• Escalabilidade: A arquitetura modular permite a extensão para outros módulos de percepção e modelos fundacionais, oferecendo uma solução sistemática para gerenciar a contenção de recursos em sistemas multimodais complexos.

Em resumo, o artigo valida que a agendamento inteligente baseado em relevância é uma solução viável e superior para equilibrar a precisão da percepção e a eficiência computacional em ambientes dinâmicos e interativos.