Beyond Fixed Thresholds and Domain-Specific Benchmarks for Explainable Multi-Task Classification in Autonomous Vehicles

Este artigo propõe uma metodologia de seleção adaptativa de limiares para superar as limitações dos limiares fixos na percepção de direção autônoma multi-tarefa e introduz o conjunto de dados IUST-XAI-AD para permitir a explicabilidade intercultural e uma avaliação mais robusta dos sistemas de veículos autônomos.

O essencial

Imagine que você está ensinando um robô a dirigir um carro. Você quer que o robô não apenas saiba o que fazer (como "parar" ou "virar à esquerda"), mas também explique por que está fazendo isso (como "porque há um pedestre" ou "porque o semáforo está vermelho"). Este é o objetivo da Inteligência Artificial Explicável em carros autônomos.

No entanto, há dois grandes problemas que os autores deste artigo identificaram:

1. A Regra "Tamanho Único": A maioria dos robôs é programada com uma regra rígida: "Se você tiver mais de 50% de certeza, tome uma decisão." Os autores chamam isso de "limiar fixo". Eles argumentam que isso é como dizer a um humano: "Se você tiver 50% de certeza de que está chovendo, pegue um guarda-chuva." Isso não funciona bem! Às vezes, você precisa ter 90% de certeza antes de agir (como parar para uma criança), e às vezes 50% é suficiente. O artigo mostra que usar uma única regra de 50% para todas as situações faz com que o robô cometa mais erros.
2. O "Viés Ocidental" no Treinamento: A maioria dos robôs é treinada com dados de lugares como a Califórnia ou a Alemanha. Mas dirigir em Teerã, Irã, é muito diferente. Há mais motocicletas, hábitos de trânsito diferentes e layouts de ruas distintos. Se você treinar um robô apenas em estradas ocidentais, ele pode ficar confuso ao ver uma rua caótica do Oriente Médio.

Aqui está como os autores resolveram esses problemas, explicado de forma simples:

1. Ajustando o "Dial de Confiança" (O Limiar)

Pense no cérebro do robô como tendo um dial de volume para cada decisão.

• O Jeito Antigo: Todos giravam o dial exatamente para "5" (50% de confiança) e nunca mais o tocavam.
• O Novo Jeito: Os autores testaram o dial em todas as configurações de 1 a 10. Eles descobriram que, para algumas tarefas (como decidir "parar"), o robô funciona melhor quando o dial está ajustado para "3" (30% de confiança). Para outras tarefas (como explicar por que ele parou), "4" (40%) é melhor.

A Analogia: Imagine que você é um guarda de segurança verificando identidades.

• Se você for muito rigoroso (limiar alto), você não deixa ninguém entrar, mesmo que sejam amigáveis (você perde boas oportunidades).
• Se você for muito relaxado (limiar baixo), você deixa entrar todo mundo, incluindo pessoas mal-intencionadas (você comete erros perigosos).
• Os autores descobriram que, para diferentes tipos de "pessoas mal-intencionadas" (diferentes tarefas de direção), você precisa de um nível diferente de rigor. Ao ajustar o "dial de rigor" para cada trabalho específico, o robô tornou-se muito mais inteligente e seguro.

2. A Nova "Escola de Direção do Oriente Médio" (O Conjunto de Dados)

Os autores perceberam que os conjuntos de dados de direção existentes eram como uma escola de direção que só ensinava você a dirigir em rodovias vazias e retas na Europa. Eles não ensinavam você a lidar com uma rua de mercado movimentada e caótica no Irã.

• A Solução: Eles criaram um novo conjunto de dados chamado IUST-XAI-AD.
• O que há nele: 958 fotos reais tiradas em Qom, Irã.
• Por que é especial: É como um nível de "modo difícil" em um videogame. Tem muito mais motocicletas, mais pedestres e padrões de trânsito mais complexos do que os conjuntos de dados padrão.
• O Resultado: Quando testaram seu robô nesse novo "modo difícil", ele teve mais dificuldades do que nas estradas europeias fáceis. Isso prova que o novo conjunto de dados é um teste melhor e mais rigoroso para ver se um robô está realmente pronto para o mundo real.

3. O "Porquê" Importa Tanto Quanto o "O Quê"

O robô tem que fazer duas coisas ao mesmo tempo:

1. Ação: "Pare o carro."
2. Razão: "Porque uma pessoa está atravessando."

Os autores descobriram que o robô é, na verdade, melhor em adivinhar a ação (Parar/Andar) do que em adivinhar a razão (Por quê?). É como um aluno que consegue responder facilmente a perguntas de "Verdadeiro/Falso", mas tem dificuldade em escrever a redação explicando por que a resposta é verdadeira. Ao usar seus novos "dials ajustados" (limiares), eles ajudaram o robô a melhorar tanto na ação quanto na explicação.

A Conclusão

O artigo diz:

• Pare de usar a mesma regra de 50% para tudo. Ajuste seus níveis de confiança com base na tarefa específica.
• Não teste robôs apenas em estradas ocidentais. Você precisa testá-los em estradas diversas e caóticas (como as do Oriente Médio) para ver se eles são realmente seguros.
• A explicabilidade é fundamental. Um carro autônomo não é apenas uma máquina; ele precisa ser capaz de dizer a você por que tomou uma decisão para que os humanos possam confiar nele.

Ao ajustar os "dials" e testar em "estradas mais difíceis", os autores construíram uma base melhor para carros autônomos que podem ser confiados em qualquer lugar do mundo, não apenas em lugares que se parecem com a Califórnia.

Resumo técnico

Resumo Técnico: Além de Limites Fixos e Benchmarks Específicos de Domínio para Classificação Multi-Tarefa Explicável em Veículos Autônomos

Declaração do Problema
Os sistemas de condução autônoma dependem de modelos de aprendizado profundo que frequentemente são "caixas-pretas", carecendo da transparência necessária para implantação em cenários críticos de segurança e para a confiança humana. Embora frameworks de aprendizado multi-tarefa tenham surgido para prever simultaneamente ações de condução e seu raciocínio subjacente (Inteligência Artificial Explicável ou XAI), as abordagens atuais enfrentam duas limitações primárias. Primeiro, elas dependem predominantemente de limites de confiança fixos (tipicamente 0,5) para converter saídas contínuas do modelo em previsões discretas. Essa abordagem "tamanho único" ignora a complexidade variável e os desequilíbrios de classe inerentes a diferentes tarefas de previsão, potencialmente levando a desempenho subótimo ou riscos de segurança. Segundo, os benchmarks de avaliação existentes, como Berkeley Deep Drive (BDD-OIA) e nuScenes Action and Reasons (nu-AR), são fortemente enviesados para contextos de condução ocidentais. Essa falta de diversidade cultural limita a avaliação da generalizabilidade do modelo através de diferentes padrões de tráfego, infraestruturas viárias e comportamentos de condução encontrados globalmente, particularmente em regiões do Oriente Médio.

Metodologia
Os autores propõem um avanço metodológico de duas frentes para abordar essas lacunas:

1. Análise de Sensibilidade do Limite de Confiança:
   Em vez de usar um limite estático, os autores introduzem um framework sistemático para otimizar os limites de decisão para classificação multi-tarefa. Eles definem limites de confiança separados ($\tau_A$ para ação e $\tau_R$ para razão) e realizam uma busca em grade na faixa [0, 1] com um tamanho de passo de 0,1. O framework avalia quatro métricas distintas: F1-ação-geral, F1-ação-média, F1-razão-geral e F1-razão-média. Isso permite a identificação de pares de limites ótimos que maximizam o desempenho para tarefas específicas, reconhecendo que previsões de ação e de razão podem exigir diferentes níveis de confiança.

2. Construção do Dataset IUST-XAI-AD:
   Para abordar a falta de benchmarks culturalmente diversos, os autores introduzem o dataset IUST-XAI-AD. Coletado em Qom, Irã, este dataset compreende 958 imagens de dash-cam capturadas sob várias condições de iluminação. Cada imagem é anotada manualmente por especialistas com:

   • Rótulos de Ação: 4 categorias (Avançar, Parar/desacelerar, Virar à esquerda, Virar à direita).
   • Rótulos de Razão: 21 categorias explicando a decisão de condução (por exemplo, "Obstáculo: pessoa", "Semáforo está verde").
     O dataset é analisado quanto à complexidade usando uma pontuação ponderada ($C$) que leva em conta a densidade de pedestres, motociclistas e veículos, atribuindo pesos mais altos a usuários vulneráveis da via (pedestres e motociclistas) para refletir seu perfil de risco mais elevado.

Principais Contribuições
O artigo apresenta três contribuições interconectadas:

• Otimização Sistemática de Limites: Uma demonstração de que limites fixos são subótimos para cenários multi-tarefa. Os autores fornecem uma metodologia para identificar limites ótimos específicos de tarefa, revelando que os picos de desempenho variam significativamente entre tarefas de ação e de razão.
• Novo Benchmark (IUST-XAI-AD): A introdução de um dataset especificamente projetado para visão computacional explicável em contextos de condução persas. Este dataset aborda o viés cultural e regional em benchmarks existentes, oferecendo um ambiente mais desafiador com maior densidade de objetos e padrões de tráfego distintos.
• Validação Abrangente Cross-Contexto: Uma avaliação extensiva de um modelo multi-tarefa baseado em atenção proposto anteriormente em três datasets (BDD-OIA, nu-AR e IUST-XAI-AD). Isso inclui uma análise comparativa do desempenho do modelo, métricas de complexidade e incorporações de características para avaliar a robustez através de diferentes ambientes culturais.

Resultados Experimentais

• Sensibilidade do Limite: A análise no dataset BDD-OIA revela que o limite convencional de 0,5 não é ótimo. A pontuação máxima F1-ação-geral ocorre em um limite de 0,3 (71,85%), enquanto a pontuação máxima F1-razão-geral ocorre em 0,4 (54,77%). O estudo identifica uma "região operacional robusta" entre 0,3 e 0,5 onde todas as métricas permanecem dentro de 1% de seus valores máximos, sugerindo que, embora o ajuste seja benéfico, uma faixa de limites pode produzir resultados quase ótimos.
• Complexidade do Dataset: O dataset IUST-XAI-AD exibe complexidade significativamente maior (pontuação de 2,0038) em comparação com BDD-OIA (0,8062) e nu-AR (0,5752). Isso é impulsionado por uma maior densidade de veículos (1,66 por imagem versus 0,70 no BDD-OIA) e uma densidade drasticamente maior de motociclistas (0,164 por imagem, o que é 19–24 vezes maior do que em datasets ocidentais), refletindo condições de tráfego misto comuns em cidades do Oriente Médio.
• Desempenho do Modelo: Quando testado no IUST-XAI-AD, o modelo baseado em atenção dos autores superou a linha de base NLE-DM em 9 de 12 métricas. No entanto, as métricas de desempenho geral (pontuações F1) caíram significativamente no IUST-XAI-AD em comparação com o BDD-OIA, indicando que as diferenças culturais e ambientais apresentam desafios fundamentalmente novos que os modelos atuais lutam para generalizar sem adaptação específica.
• Análise de Características: Visualizações t-SNE de características aprendidas mostram que o modelo agrupa com sucesso os dados por classes de ação e contexto ambiental (por exemplo, separando infraestrutura de tráfego de obstáculos dinâmicos), embora alguma sobreposição permaneça.

Significado e Alegações
O artigo alega que seu trabalho avança o estado da arte em aprendizado multi-tarefa explicável para condução autônoma, fornecendo tanto ferramentas metodológicas quanto recursos de avaliação prática.

• Metodológico: Desafia a prática padrão de limitação fixa, argumentando que a seleção de limites deve ser uma escolha de design baseada em prioridades operacionais específicas (por exemplo, equilibrando precisão e recall) em vez de um problema de otimização fixo.
• Prático: O dataset IUST-XAI-AD serve como uma ferramenta crítica para avaliar a generalização cross-cultural de sistemas autônomos, destacando lacunas sistemáticas na robustez do modelo que avaliações de domínio único ignoram.
• Impacto Mais Amplo: Os autores afirmam que suas contribuições combinadas aceleram o desenvolvimento de sistemas de condução autônoma mais confiáveis, explicáveis e adaptáveis culturalmente, adequados para implantação global. Eles enfatizam que a validação abrangente através de contextos diversos é essencial para avaliar a verdadeira segurança e robustez desses sistemas.

O artigo conclui observando que, embora o trabalho atual estabeleça uma linha de base para diversidade cultural e otimização de limites, pesquisas futuras devem investigar o ajuste fino e a sensibilidade de limites especificamente para condições adversas de tempo e expandir ainda mais a avaliação para uma gama mais ampla de datasets geograficamente diversos.