Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

Imagine que você está tentando ensinar um robô a perceber quando um humano está prestes a pegar no sono ao volante. Você dá ao robô uma câmera, um smartwatch e um sensor de painel para observar o motorista. Mas aqui está a parte complicada: se você não tiver cuidado, o robô pode recorrer a atalhos. Ele pode aprender a reconhecer o rosto específico do motorista ou a estrada específica em que ele está dirigindo, em vez de realmente aprender o que a "sonolência" parece. É como estudar para uma prova de matemática memorizando as respostas das questões de prática em vez de aprender as fórmulas. Se as questões da prova mudarem um pouco, o robô falha. Este é o problema do "vazamento de dados" (data leakage) na inteligência artificial.

Para construir um sistema verdadeiramente seguro, precisamos garantir que o robô aprenda os sinais universais de sonolência — como pálpebras pesadas, reações lentas ou mudanças na frequência cardíaca — para que possa funcionar em qualquer motorista, em qualquer estrada, mesmo aquelas que ele nunca viu antes. Também precisamos garantir que o robô não apenas adivinhe "acordado" ou "dormindo", mas que possa nos dizer o quão certo ele está. Se o robô tiver 99% de certeza de que o motorista está dormindo, queremos poder confiar nesse número. Este artigo mergulha profundamente nessas questões, agindo como um árbitro rigoroso para verificar se as afirmações anteriores sobre detectores de direção sonolenta eram realmente justas ou se eram apenas palpites sortudos baseados em atalhos.

---

A Auditoria do Grande Detetive da Sonolência

Neste estudo, uma equipe de pesquisadores decidiu desempenhar o papel de "detetives de vazamento". Eles pegaram duas coleções massivas de dados — uma com 225.000 observações de 15 motoristas em rodovias, terrenos acidentados e ruas de cidades, e outra com mais de 87.000 leituras de condutância da pele de 20 pessoas — e as submeteram a um teste rigoroso, sem atalhos permitidos. O objetivo era ver se os modelos com melhor desempenho de estudos anteriores ainda conseguiriam fazer seu trabalho quando não lhes fosse permitido espiar as respostas ou memorizar os motoristas específicos.

**A Limpeza dos "Atalhos"
Primeiro, os pesquisadores limparam os dados. Eles perceberam que algumas colunas de dados eram como dar a chave de respostas ao detetive. Por exemplo, se os dados incluíssem uma coluna que literalmente dissesse "Ocorreu uma Frenagem Repentina", o computador poderia simplesmente adivinhar "Sonolento" sempre que uma frenagem ocorresse, sem realmente entender o estado do motorista. Eles também removeram quaisquer colunas que fossem apenas formas diferentes de escrever o rótulo "sonolento". Uma vez removidos esses "atalhos", restaram os sinais brutos e honestos: frequência cardíaca, pressão na pegada, movimento dos pés e dados do veículo.

**As Quatro Formas de Testar
Para ver se os modelos eram realmente inteligentes ou apenas memorizadores, a equipe usou quatro estratégias de teste, como mudar as regras de um jogo para ver quem realmente conhece as regras:

1. Divisão de Linhas Aleatórias (Random Row Split): Embaralhando todos os dados como um baralho. Este é o "modo fácil", onde o computador vê partes do mesmo motorista e da mesma estrada tanto em seu treinamento quanto em seu teste.
2. Bloco de Tempo (Time-Blocked): Garantindo que o computador aprenda apenas com o passado para prever o futuro, como assistir a um filme e tentar adivinhar o final sem ver os últimos 20 minutos.
3. Motorista Excluído (Driver-Held-Out): Este é o teste do "novo motorista". O computador aprende com 10 motoristas e é testado em 5 que ele nunca conheceu.
4. Rota Excluída (Route-Held-Out): O teste do "novo mundo" definitivo. O computador aprende em rodovias e estradas acidentadas, mas é testado no tráfego denso de uma cidade que ele nunca viu antes.

**O Vencedor: O Cérebro "Tudo-em-Um"
Os pesquisadores testaram três tipos diferentes de cérebros de IA: um pensador linear simples (Regressão Logística), um aprendiz de árvore complexo chamado Pooled HGB (Gradient Boosting baseado em Histograma) e uma equipe de especialistas que votam na resposta (CQMF, ou Fusão de Modalidade Ponderada por Qualidade Calibrada).

O vencedor surpresa foi o Pooled HGB. Pense neste modelo como um único detetive superinteligente que observa tudo ao mesmo tempo — frequência cardíaca, movimento dos pés e velocidade do carro — simultaneamente. Ele não tentou separar as pistas em diferentes categorias; ele apenas deixou os dados falarem entre si.

• Quando testado em novos motoristas (Driver-Held-Out), este modelo foi incrivelmente preciso. Obteve uma pontuação de 0,9990 (de 1,0) para distinguir acordado de dormindo, e uma pontuação de 0,9819 para encontrar os raros momentos de sono.
• Ele também foi muito honesto sobre sua confiança. Seu "Brier score" (uma medida de quão bem sua confiança corresponde à realidade) foi de um ínfimo 0,00355, o que significa que, quando dizia "Estou 90% seguro", estava quase sempre certo.

**A "Equipe de Especialistas" Falhou
Os pesquisadores esperavam que a "Equipe de Especialistas" (CQMF) fosse melhor. A ideia era: ter uma IA observando o coração, outra observando as mãos e uma terceira observando o carro, e então fazê-las votar. Mas essa abordagem teve um desempenho pior. Quando a equipe tentou combinar suas opiniões separadas, eles perderam as conexões sutis entre os sinais. Acontece que um único detetive que vê o quadro geral é melhor do que um comitê de especialistas que não consegue conversar entre si. O cérebro "Tudo-em-Um" capturou o fato de que um padrão específico de frequência cardíaca pode significar algo diferente dependendo do que o carro está fazendo, algo que os especialistas separados perderam de vista.

**A Penalidade da "Nova Estrada"
É aqui que as coisas ficam um pouco menos perfeitas. Quando os pesquisadores testaram o modelo em um tipo completamente novo de estrada (Route-Held-Out), o desempenho caiu.

• Em rodovias, o modelo ainda era ótimo.
• Mas em rotas urbanas densas, a capacidade de detectar motoristas sonolentos caiu. A "sensibilidade" (quantos motoristas sonolentos ele realmente detectou) caiu para 0,7216.
  Isso revela uma "penalidade de transferência de rota". O modelo aprendeu que motoristas sonolentos em rodovias parecem de uma certa forma, mas a condução urbana é caótica e diferente. Se você levar um modelo treinado apenas em rodovias e o soltar no trânsito movimentado de uma cidade, ele pode perder os motoristas sonolentos.

**O Teste de Estresse do "Sensor Quebrado"
A vida real é bagunçada. Sensores quebram, fios ficam soltos e dados são perdidos. Os pesquisadores simularam isso deletando aleatoriamente 10%, 20%, 30% e até 50% dos dados para ver o que acontecia.

• O modelo "Tudo-em-Um" (Pooled HGB) resistiu surpreendentemente bem. Mesmo com 50% dos dados faltando, ele ainda conseguiu um desempenho decente de 0,6630.
• A "Equipe de Especialistas" (CQMF) desmoronou muito mais rápido, caindo para 0,5260 com 50% de dados ausentes.
  Isso sugere que ter um modelo robusto que possa lidar com peças faltantes é melhor do que depender de uma equipe de especialistas que podem todos ficar em silêncio se o seu sensor específico falhar.

**O Mistério da Condutância da Pele
A equipe também analisou um segundo conjunto de dados envolvendo a condutância da pele (o quanto sua pele sua quando você está estressado ou com sono). Mesmo após remover os "atalhos", o modelo ainda teve um desempenho incrível, com uma pontuação de 0,9994. No entanto, os pesquisadores são cautelosos. Eles observaram que, como não tinham os registros originais de vídeo ou áudio, não podiam ter 100% de certeza de que os rótulos de "sonolento" eram perfeitamente precisos em primeiro lugar. É como encontrar uma nota perfeita em uma prova, mas você não sabe se o professor a corrigiu de forma justa. Portanto, embora os números pareçam ótimos, eles não podem afirmar que isso prova que o sistema funciona no mundo real ainda.

Conclusão

Este artigo não diz apenas qual modelo de IA é o "melhor". Ele nos ensina como parar de depender de atalhos. A principal lição é que você não pode confiar em um sistema de detecção de sonolência do motorista a menos que o teste em motoristas e estradas que ele nunca viu antes.

O estudo descobriu que um modelo único e poderoso que observa todos os dados juntos (Pooled HGB) é o mais confiável. É melhor do que tentar combinar modelos separados, e é robusto o suficiente para lidar com dados ausentes. No entanto, o estudo também nos alerta que mesmo o melhor modelo não é perfeito. Se você mover um sistema de uma rodovia para uma cidade movimentada, ou se os sensores começarem a falhar, o sistema pode perder o perigo.

Os autores concluem que, embora tenhamos uma ferramenta muito forte para detectar sonolência agora, ainda não estamos prontos para colocá-la em todos os carros. Precisamos de mais testes no mundo real, melhores dados de sensores brutos e um sistema que saiba quando está confuso e deve pedir ajuda. Até lá, esta pesquisa serve como uma crucial "auditoria de vazamento", garantindo que, quando afirmarmos que um sistema é seguro, não estejamos apenas enganando a nós mesmos com um palpite de sorte.