Resumo Técnico: TriCLE – Raciocínio Visual-Linguístico Tri-Modal para Agrupamento Granular Implementado em Borda (Edge)

1. Declaração do Problema

O artigo aborda o desafio de realizar o agrupamento taxonômico detalhado de aeronaves em plataformas de borda (ex: drones), onde os recursos são severamente limitados por memória, computação e conectividade intermitente. Modelos de reconhecimento baseados apenas em RGB e modelos de Visão-Linguagem (VLMs) de propósito geral lutam contra esse cenário por duas razões principais:

1. Escassez de Modalidade: O reconhecimento de aeronaves de alto desempenho frequentemente se beneficia de dados térmicos (FLIR) e geométricos (LiDAR), mas conjuntos de dados alinhados RGB–térmico–LiDAR são raramente disponíveis.
2. Restrições de Borda: Métodos de percepção multimodal existentes tipicamente assumem sensores calibrados e anotações pareadas, que são difíceis de obter, e são frequentemente pesados demais para implantação em borda.

O objetivo é criar um sistema que possa interpretar imagens de aeronaves sob essas restrições, distinguindo aeronaves com base em propriedades relevantes para a engenharia (propulsão, família de fuselagem, tamanho, era de design) em vez de apenas aparência superficial.

2. Metodologia

O sistema proposto, TriCLE, é um pipeline VLM tri-modal orientado à aplicação, projetado para operar a partir de uma única entrada RGB. A metodologia procede através de quatro fases distintas:

A. Geração de Dados Tri-Modais Sintéticos

Como dados multissensoriais alinhados são escassos, o TriCLE sintetiza as modalidades ausentes a partir de uma única imagem RGB ($I_{rgb}$):

• Térmico Sintético ($I_{th}$): Uma visão térmica do tipo FLIR que preserva a estrutura é gerada usando um transformer FLUX.1-dev modificado. A geração é guiada por ControlNet (condicionada em bordas Canny) para manter a geometria da fuselagem e camadas LoRA treinadas em um conjunto de dados empírico de FLIR para simular gradientes térmicos ao redor de motores e naceles.
• Pseudo-LiDAR ($I_{lidar}$): Um mapa de profundidade monocular denso é estimado a partir da imagem térmica sintética usando um Dense Prediction Transformer (DPT). Este mapa de profundidade é retroprojetado em uma nuvem de pontos 3D, que é então convertida em uma imagem de projeção de profundidade ortográfica compatível com codificadores de visão de VLMs padrão.
• Resultado: Um triplet tri-modal sincronizado $T = (I_{rgb}, I_{th}, I_{lidar})$ é criado para treinamento e inferência.

B. Arquitetura do Modelo e Ajuste Fino (Fine-Tuning)

O sistema utiliza um backbone compacto Qwen3-VL-4B. Para adaptar este modelo para implantação em borda e tarefas de raciocínio específicas sem esquecimento catastrófico, os autores empregam:

• RPSFT (Rotation-Preserving Supervised Fine-Tuning): Em vez do SFT padrão, que pode rotacionar matrizes de pesos pré-treinados e degradar o conhecimento fora da distribuição (OOD), o RPSFT congela o modelo base e atualiza apenas os pesos de projeção de atenção ($W_q, W_v$) nas últimas 12 camadas. Essas atualizações são regularizadas usando restrições ancoradas em SVD para manter o desvio de parâmetros dentro do manifold pré-treinado original.

C. Estratégias de Alinhamento de Política

Para alinhar o raciocínio do modelo com uma taxonomia de especialistas em aeronaves (agrupando por propulsão, fuselagem, etc.), três estratégias de aprendizado por reforço são avaliadas:

1. GRPO (Group Relative Policy Optimization): Amostra múltiplas conclusões e as pontua com base no formato e precisão, usando vantagem relativa dentro do grupo.
2. GSPO (Group Sequence Policy Optimization): Calcula razões de probabilidade sobre a sequência gerada inteira em vez de token por token. Isso visa prevenir o colapso de tokens locais e incentivar caminhos de raciocínio globalmente coerentes.
3. DAPO (Direct Advantage Policy Optimization): Otimiza uma perda de preferência pareada entre respostas escolhidas e rejeitadas, usando máscaras de truncamento para filtrar gerações excessivamente longas.

D. Otimização de Implantação

O modelo alinhado passa por quantização de 4 bits e otimização de memória de atenção para caber em um alvo de 8GB de VRAM, permitindo o processamento em tempo real em dispositivos de borda.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Pipeline Tri-Modal Orientado à Borda: Um sistema completo para agrupamento taxonômico de aeronaves usando entradas RGB, térmica sintética e pseudo-LiDAR, projetado especificamente para ambientes de recursos restritos.
2. Procedimento de Sensoriamento Sintético: Um método para gerar visões de estilo FLIR e projeções de profundidade alinhadas a partir de imagens monoculares, fornecendo pistas auxiliares controladas quando dados multissensoriais reais não estão disponíveis.
3. Avaliação Focada em Implantação: Uma análise abrangente de estratégias de alinhamento de política (GRPO, GSPO, DAPO), validade de saída estruturada, generalização zero-shot, efeitos de quantização e latência.

4. Resultados Experimentais

O sistema foi avaliado em um conjunto de dados curado de 800 imagens de aeronaves de classe única e uma partição de teste mantida de 100 amostras.

• Desempenho de Otimização de Política:
  • O GSPO emergiu como a estratégia superior. No conjunto de validação, alcançou 88,33% de precisão e um F1 ponderado de 0,91.
  • Na partição de teste mantida, o GSPO alcançou 78,00% de precisão e 0,793 de F1 ponderado, mantendo 94,00% de formatação de saída analisável.
  • Métodos de nível de token (GRPO e DAPO) mostraram menor precisão (67,00%) e menor conformidade de formato (85,00%) no conjunto mantido, indicando vulnerabilidade a loops representacionais em entradas desconhecidas.
• RPSFT vs. SFT Padrão: Embora o SFT padrão tenha alcançado maior precisão em distribuição (63,75% vs. 55,00%), ele sofreu de esquecimento catastrófico. O RPSFT preservou capacidades de raciocínio geral, alcançando 90,16% de precisão OOD no benchmark ScienceQA.
• Desempenho de Borda: Após a quantização de 4 bits, o modelo cabe no alvo de implantação de 8GB e processa cada triplet tri-modal em 1,48 segundos.
• Generalização Cross-Domain: Quando testado no conjunto de dados de cena rodoviária DSERT-RoLL (zero-shot), o modelo alinhado via GSPO manteve 100% de sucesso de formato e demonstrou robustez em tarefas de contagem (ex: MAE de ~0,54 para pedestres), embora a correspondência exata de classes tenha permanecido desafiadora devido à mudança de domínio.

5. Significância e Alegações

O artigo posiciona o TriCLE como um protótipo prático para o agrupamento de aeronaves interpretável e viável em borda. Sua significância reside em demonstrar que:

• Fusão Multimodal Sintética: É possível treinar sistemas de raciocínio tri-modais eficazes usando dados térmicos sintéticos e projeções de profundidade derivados de imagens RGB quando dados multissensoriais reais não estão disponíveis.
• Otimização de Nível de Sequência: A otimização de política de nível de sequência (GSPO) é mais eficaz do que métodos de nível de token para manter o raciocínio coerente e a validade estrutural em tarefas de geração longa em dispositivos de borda.
• Viabilidade: O raciocínio tri-modal complexo pode ser comprimido em um modelo de 4B parâmetros que roda dentro de 8GB de VRAM com latência inferior a 2 segundos, tornando-o viável para implantação real em borda.

Limitações Reconhecidas:
Os autores declaram explicitamente que o TriCLE é um protótipo. As entradas térmica e LiDAR são sintéticas e podem conter artefatos de geradores, o que significa que não podem substituir o hardware calibrado. A avaliação é limitada a imagens de objeto único e não captura totalmente cenas com múltiplas aeronaves. Os resultados cross-domain em cenas rodoviárias servem como um teste de estresse para a robustez da sintaxe, em vez de uma validação das capacidades de agrupamento de aeronaves. Trabalhos futuros exigem validação em fluxos de sensores reais e co-registrados.