Resumo Técnico: RSC-GestureNet

Declaração do Problema

Os gestos de policiais de trânsito servem como pistas de percepção críticas para a segurança na condução autónoma, capazes de sobrepor-se a semáforos e sinais em cenários complexos, como interseções congestionadas e zonas de construção. No entanto, implementar um reconhecedor robusto para estes comandos apresenta três desafios específicos que a literatura existente frequentemente negligencia:

1. Restrições Causais: Ao contrário do reconhecimento de ações offline, um sistema virado para o veículo deve inferir comandos causalmente a partir de fluxos de vídeo contínuos usando apenas quadros passados, sem acesso a informações futuras.
2. Fiabilidade da Pose: As estimativas de pose 2D são medições inerentemente ruidosas e não a verdade fundamental (ground truth). Em cenas rodoviárias, fatores como baixa iluminação, desfoque de movimento, oclusão e distância frequentemente corrompem marcos fundamentais (especificamente pulsos e cotovelos) que carregam o significado semântico dos comandos de trânsito.
3. Assimetria de Risco: Os comandos de trânsito são assimétricos em termos de risco; um comando de "Parar" perdido ou um comando de "Virar" instável podem levar a falhas de planeamento catastróficas. As métricas de precisão padrão muitas vezes falham em capturar a necessidade de confiança calibrada e a capacidade de adiar decisões incertas em vez de forçar rótulos inseguros.

Os benchmarks atuais sofrem frequentemente de protocolos de avaliação inconsistentes (diferentes divisões de dados, definições de características ou configurações offline vs. online), tornando difícil a comparação direta de modelos orientados para a implementação.

Metodologia: RSC-GestureNet

Os autores propõem o RSC-GestureNet, um reconhecedor causal seletivo consciente da fiabilidade, concebido para abordar as lacunas acima. O framework opera num janela causal de 32 quadros e integra os seguintes componentes principais:

1. Raciocínio de Grafo Espacial Consciente da Fiabilidade

O modelo trata a confiança da pose como um sinal de primeira classe.

• Agregação com Portão de Confiança (Confidence-Gated Aggregation): Um MLP leve estima uma pontuação de fiabilidade para cada articulação com base na confiança do detetor, velocidade e estado de marca ausente. Esta pontuação controla as características dos nós antes da passagem de mensagens, reduzindo o peso de articulações não fiáveis (ex: pulsos/cotovelos corrompidos) para evitar que distorçam o raciocínio do grafo.
• Topologia de Grafo Dinâmica: A matriz de adjacência combina a estrutura física do esqueleto, priors do tronco superiores específicos do comando (enfatizando ombros, cotovelos e pulsos) e um termo dinâmico que aprende a coordenação específica da instância para se adaptar a oclusões e mudanças de perspetiva.

2. Modelagem Temporal Causal

• Convoluções Causais Dilatadas: O codificador temporal utiliza convoluções causais dilatadas para agregar evidências passadas de forma eficiente. O campo recetivo expande-se sem violar a causalidade, permitindo que o modelo distinga entre classes que diferem por fases de movimento curtas (ex: virar vs. esperar) em vez de poses estáticas.
• Perda Consciente do Perigo (Danger-Aware Loss): O objetivo de treino inclui um termo de regularização específico que penaliza confusões "perigosas", especificamente transições de "Parar" para comandos de movimento (Seguir em Frente, Virar Esquerda/Direita, Mudança de Faixa), deslocando a massa de probabilidade para longe de modos de erro de alto risco.

3. Fusão Pose–RGB e Inferência Adaptativa

• Fusão Tardia (Late Fusion): Um descritor RGB leve (histograma de 12 dimensões) é fundido ao nível do logit com o ramo da pose. Isto permite que o contexto de aparência auxilie quando a confiança da pose degrada-se.
• Emissão Seletiva: O sistema utiliza um mecanismo de mistura de probabilidade acionado pela fiabilidade. Ajusta dinamicamente os pesos entre o ramo de fusão, um ramo apenas de pose e um ramo apenas temporal, com base nas pontuações de fiabilidade global e dos membros superiores.
• Saída Calibrada: As previsões passam por uma calibração vetorial (ajustada apenas num fluxo de treino interno) e uma regra "estável-K". Um comando é emitido apenas quando os últimos $K$ previsões concordam e a confiança calibrada excede um limiar; caso contrário, o sistema absten-se.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Protocolo Causal Reproduzível: Um protocolo de avaliação causal de quadro total na divisão oficial do CTPGesture v1 (134.424 quadros rotulados, 33.451 janelas causais) com estatísticas de três sementes (seeds), Macro-F1 online, Early@10, Tempo para o Comando (TTC) e relatório de conjunto de teste selado.
2. Modelo RSC-GestureNet: Uma arquitetura inovadora que apresenta raciocínio de grafo com portão de confiança, aprendizagem consciente do perigo, fusão pose–RGB e regras de inferência adaptativa.
3. Benchmark CTPGesture-C: Um benchmark de corrupção ao nível das características com sete famílias de degradação (ex: queda de pose, jitter de coordenadas, supressão de membros superiores) e um diagnóstico ao nível do RGB envolvendo a re-extração de pose via MediaPipe sob baixa luminosidade e desfoque de movimento.
4. Avaliação Controlada: Uma comparação rigorosa contra baselines genéricos e reimplementações de grafos específicas para tráfego (MD-GCN e HLP-GCN) sob divisões de dados e protocolos causais idênticos.

Resultados Experimentais

Avaliado na divisão oficial completa do CTPGesture v1, o RSC-GestureNet alcança o seguinte desempenho:

• Precisão (Accuracy): 93,33% ± 0,24%
• Macro-F1: 91,71% ± 0,27%
• Macro-F1 Online: 91,69% ± 0,29%
• Early@10: 98,80% ± 0,07%
• Tempo para o Comando (TTC): 0,153 ± 0,013 s
• Robust Macro-F1: 90,97% ± 0,37% (melhor entre os métodos avaliados)

Desempenho Comparativo:
Sob o mesmo protocolo causal, o RSC-GestureNet supera os baselines reproduzidos específicos de tráfego:

• vs. MD-GCN: +3,23 pontos de macro-F1, +2,15 pontos de online-F1 e 0,104 s mais rápido no TTC (RSC-GestureNet: 0,153s vs. MD-GCN: 0,257s).
• vs. HLP-GCN: +4,11 pontos de macro-F1, +3,07 pontos de online-F1 e 0,160 s mais rápido no TTC (RSC-GestureNet: 0,153s vs. HLP-GCN: 0,313s).

Robustez e Calibração:

• O modelo demonstra uma robustez superior através de todas as sete famílias de corrupção no CTPGesture-C, com os maiores ganhos observados sob supressão de características de membros superiores e queda de pose.
• No diagnóstico ao nível do RGB (re-extraindo a pose de quadros corrompidos), o modelo alcança o melhor macro-F1 sob baixa luminosidade e permanece competitivo sob desfoque de movimento.
• A análise de calibração mostra que o RSC-GestureNet atinge o menor risco seletivo em níveis de cobertura elevados (90%, 95%, 99%) e o menor escore de Brier, indicando distribuições de probabilidade de alta qualidade.

Significância e Alegações

O artigo alega que a modelagem explícita da fiabilidade da pose é um fator crítico para melhorar o reconhecimento precoce, estável e robusto de comandos de trânsito. Os resultados indicam que tratar a confiança da pose como um sinal de modelagem — em vez de assumir que todos os pontos detetados são igualmente dignos de confiança — permite que o sistema:

1. Mitigar Falhas de Robustez: Ao reduzir o peso de articulações corrompidas, o modelo mantém o desempenho sob stress visual (desfoque, oclusão, baixa luz).
2. Aumentar a Segurança via Seletividade: A capacidade de adiar decisões incertas evita a emissão de rótulos potencialmente inseguros, uma característica crucial para o planeamento de condução autónoma.
3. Preencher a Lacuna até à Implementação: Ao fornecer um protocolo causal unificado e uma interface de comando calibrada e adiável, o estudo oferece um caminho reprodutível para a integração da percepção de gestos de policiais de trânsito em sistemas de condução autónoma orientados para a segurança.

Os autores concluem que, embora persistam erros em gestos de transição visualmente semelhantes (ex: virar vs. esperar), a abordagem consciente da fiabilidade proporciona uma melhoria mensurável e estatisticamente significativa em relação aos baselines temporais e de grafos de última geração.