Resumo Técnico: Mitigação do Entrelaçamento de Características e do Desequilíbrio na Classificação de Estilos de Condução via Transformers Hierárquicos Fisicamente Isolados

Declaração do Problema

A Classificação de Estilo de Condução (DSC) a partir de dados de barramento CAN veiculares é crítica para Sistemas de Transporte Inteligentes (ITS), incluindo Sistemas Avançados de Assistência ao Condutor (ADAS) e Seguros Baseados em Uso. No entanto, o campo enfrenta dois gargalos fundamentais que dificultam a generalização robusta, particularmente sob as restrições de dados limitados com anotação de especialistas e desequilíbrio severo de classes:

1. Tokenização Agóstica à Física: Os modelos dominantes de aprendizado profundo tabular (ex: FT-Transformer, TabNet) tratam características cinemáticas como escalares independentes por meio de uma tokenização plana. Esta abordagem descarta fronteiras de modalidades físicas (ex: distinguir entre a dinâmica de velocidade e as operações de pedal), forçando a rede a reaprender implicitamente as relações cinemáticas. Sob tamanhos de amostra limitados ($N < 5000$), esta atenção global não restringida corre o risco de codificar correlações estatísticas cross-modais espúrias em vez de dependências físicas genuínas.
2. O Fenômeno da "Sobrecorreção": As práticas padrão para lidar com o desequilíbrio de classes frequentemente combinam o sobreamostragem baseada em fronteiras ao nível dos dados (ex: ADASYN) com perdas ao nível do algoritmo que penalizam as fronteiras (ex: Focal Loss). Os autores identificam que essa combinação cria sinais de gradiente conflitantes. O ADASYN concentra amostras sintéticas em regiões de sobreposição de fronteiras, enquanto a Focal Loss aumenta o peso dos gradientes provenientes dessas mesmas amostras ruidosas. Essa redundância fragmenta as fronteiras de decisão das classes minoritárias em vez de reforçá-las, um modo de falha denominado "sobrecorreção".

Metodologia

O artigo propõe um framework unificado, o Isolated Hierarchical Transformer (IHT), integrado com estratégias específicas de tratamento de desequilíbrio para abordar ambos os gargalos.

1. Arquitetura: Isolated Hierarchical Transformer (IHT)

O IHT impõe um mecanismo de atenção de dois estágios, fundamentado na física, para preservar a semântica física:

• Tokenização Consciente da Modalidade: Ao contrário da tokenização plana, o IHT atribui operadores de mapeamento aprendíveis independentes para cada característica, projetando escalares heterogêneos em tokens dimensionalmente alinhados e desacoplados.
• Autoatenção Intra-Modalidade: Características pertencentes ao mesmo domínio físico (ex: velocidade, aceleração, operações de pedal) atendem apenas umas às outras. Este estágio purifica a coerência semântica local e evita o entrelaçamento prematuro de conceitos físicos distintos.
• Cross-Attention Inter-Modalidade: Somente após a codificação independente é que o modelo emprega a atenção cruzada global para capturar interações complexas entre modalidades (ex: a relação de derivada entre a entrada do pedal e a aceleração).
• Filosofia de Design: Esta estrutura hierárquica atua como um gargalo de informação estruturado, garantindo que o modelo respeite os priors cinemáticos enquanto retém o poder representacional da atenção global.

2. Estratégia de Tratamento de Desequilíbrio

Para lidar com a distribuição de cauda longa dos estilos de condução (onde as classes "Conservador" e "Agressivo" são raras em comparação com a "Normal"), os autores propõem uma estratégia complementar em vez de uma redundante:

• Amostragem: O uso de SMOTE (Synthetic Minority Over-sampling Technique) para restauração de densidade no espaço de características bruto.
• Função de Perda: Parear o SMOTE com Class-Weighted Cross-Entropy (CW-CCE) em vez de Focal Loss para evitar o conflito de "sobrecorreção".
• Regularização Geométrica: A integração de Supervised Contrastive Loss (SCL). A SCL atua como um regularizador geométrico no espaço latente, impondo compacidade intra-classe e separação inter-classe. Ela ancora os manifolds de classes minoritárias contra o ruído introduzido pela interpolação linear no espaço de características bruto, efetivamente impedindo que as amostras sintéticas fragmentem as fronteiras de decisão.

3. Dataset e Engenharia de Características

O estudo utiliza um conjunto de dados anotado por especialistas ($N=4202$) derivado de sinais de barramento CAN de 10 Hz.

• Anotação: Nove especialistas em condução realizaram avaliações cegas em clipes de sinal de 40 segundos, alcançando uma confiabilidade substancial entre avaliadores (Fleiss' $\kappa = 0.82$).
• Engenharia de Características: Um pipeline multiescala extrai 32 características:
  • Fluxo Macro: 13 estatísticas globais reduzidas via PCA para 4 componentes para evitar multicolinearidade linear.
  • Fluxo Micro: 28 estatísticas locais (amplitude, assimetria, curtose) derivadas de janelas deslizantes para capturar manobras instantâneas.
• Agrupamento Físico: As características são logicamente particionadas em quatro modalidades físicas: PCA Macroscópica, Velocidade, Aceleração e Operações de Pedal.

Principais Resultados

Experimentos foram conduzidos usando validação cruzada estratificada de 10 dobras com 5 repetições em 48 combinações de modelos-estratégia.

• Desempenho: O framework completo (IHT + SMOTE + CW-CCE + SCL) alcançou um F1-score Macro de 0.8415 ($\pm 0.0452$).
• Vantagem Comparativa:
  • Superou o FT-Transformer (SOTA Tabular) em 1.60% ($p=0.0415$).
  • Superou o TabNet em 2.65% ($p=0.0185$).
  • Superou o melhor baseline de 1D-CNN por aproximadamente 2.0%.
• Desempenho da Classe Minoritária: O F1-score para a classe minoritária Conservador atingiu 0.7129, uma melhoria relativa de 38% sobre o baseline não otimizado (0.6729).
• Achados de Ablação:
  • Arquitetura: Remover o isolamento hierárquico (usando um Transformer plano) reduziu o desempenho para 0.8295, confirmando a necessidade do isolamento semântico físico.
  • Estratégia: A combinação "redundante" de ADASYN + Focal Loss resultou em menor desempenho e maior variância de gradiente em comparação com a combinação complementar SMOTE + Focal Loss ou SMOTE + CW-CCE.
  • Desentrelaçamento de Características: O IHT reduziu a redundância de informação mútua de características em 52.75% comparado aos baselines puros e alcançou uma razão de distância euclidiana inter/intra-classe de 5.658, significativamente superior aos baselines (~2.8).
• Eficiência: O modelo mantém uma latência de inferência de aproximadamente 4.61 ms/amostra, demonstrando viabilidade para aplicações em tempo real.

Significância e Alegações

O artigo alega que sua principal contribuição reside na mudança do paradigma de arquiteturas de aprendizado profundo tabular agnósticas à física para o desentrelaçamento estruturado de características.

1. Viés Indutivo Consciente da Física: Os autores afirmam que a arquitetura IHT fornece um viés indutivo superior ao modelar explicitamente as fronteiras de modalidades físicas. Isso evita que a rede sofra overfitting a correlações estatísticas espúrias em conjuntos de dados pequenos, um modo de falha comum em Transformers padrão aplicados a dados tabulares.
2. Quantificação da "Sobrecorreção": O estudo fornece a primeira caracterização e quantificação empírica do fenômeno de "sobrecorreção" em contextos veiculares. Demonstra que o empilhamento de múltiplas estratégias de Mineração de Exemplos Difíceis (HEM) com mecanismos sobrepostos (síntese de fronteira + penalidade de fronteira) é prejudicial, enquanto estratégias complementares (restauração de densidade + regularização geométrica) produzem melhorias sinérgicas.
3. Regularização Geométrica: A integração da Supervised Contrastive Loss (SCL) é apresentada como uma alternativa computacionalmente leve a modelos generativos complexos para lidar com o ruído sintético. Ela estabiliza com sucesso o manifold latente, permitindo que o modelo aproveite os benefícios da sobreamostragem sem sucumbir ao ruído de amostras sintéticas fisicamente inviáveis.

Os autores concluem que, embora a arquitetura IHT assegure o desempenho global de base, a estratégia de desequilíbrio sinérgica é indispensável para a "última milha" da otimização de eventos minoritários críticos para a segurança, alcançando um equilíbrio robusto entre a precisão da classe majoritária e o recall da classe minoritária.