Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

Resumo Técnico: Investigando a Variabilidade Específica do Motorista na Monitoração de Fadiga do Motorista Baseada em Visão

Definição do Problema
Sistemas de monitoração de fadiga do motorista baseados em visão são tipicamente validados em conjuntos de dados agrupados onde os conjuntos de treinamento e teste contêm motoristas sobrepostos ou similares. Esta abordagem gera uma métrica de precisão agregada única que obscurece disparidades significativas de desempenho entre diferentes subgrupos de motoristas. Os motoristas variam em geometria ocular, uso de acessórios (óculos de grau vs. óculos de sol), pose da cabeça e condições de iluminação de condução. Uma regra que performa bem na média pode falhar para grupos específicos (ex: motoristas de olhos estreitos ou que usam óculos de sol). A literatura existente frequentemente trata esses fatores como secundários ou agrega os resultados por algoritmo, em vez de por características do motorista, deixando a generalizabilidade dos sistemas de detecção de fadiga não verificada através de populações diversas.

Metodologia
O artigo propõe e testa um design de avaliação por subgrupo e sujeito-disjunto utilizando uma simulação generativa controlada em vez de dados do mundo real. O estudo não estima a precisão de sistemas em motoristas reais, mas visa expor mecanismos e definir protocolos de análise para futuros estudos com dados reais.

• Design da Simulação: Um modelo generativo simula 240 motoristas por réplica (30 réplicas no total), cada um com níveis de fatores específicos:
  • Geometria Ocular: Definida pelos níveis de Eye Aspect Ratio (EAR) de olho aberto (estreito, médio, largo).
  • Acessórios Oculares: Nenhum, óculos de grau ou óculos de sol (modelados como uma "compressão" do sinal EAR em direção a uma priori genérica).
  • Pose da Cabeça: Frontal, moderada ou grande (afetando as taxas de ruído e queda de quadros).
  • Iluminação: Normal, baixa ou noturna (afetando as taxas de ruído e queda de quadros).
  • Fisiologia: Taxas de piscar simuladas e estados de sonolência (piscar lento, queda parcial das pálpebras) geram traços de EAR sintéticos a 15 fps.
• Classificadores: Duas regras de detecção são comparadas:
  • C0 (Limiar Fixo): Um limiar universal ($m < 0,20$) para todos os motoristas.
  • C1 (Calibrado por Motorista): Estima o nível de olho aberto específico de um motorista ($\hat{E}_{open}$) a partir de 60s de condução alerta e estabelece um limiar dinâmico ($m < 0,6 \cdot \hat{E}_{open}$).
• Protocolo de Avaliação:
  • Divisões Sujeito-Disjuntas: 50% dos motoristas para treinamento (calibração), 50% para teste. Nenhum motorista aparece em ambos os conjuntos.
  • Métricas: Precisão (Accuracy), Sensibilidade (Recall) e Taxa de Falsos Positivos (FPR) são calculadas por motorista e agregadas por subgrupo.
  • Verificações Estatísticas: Testes de Kruskal–Wallis avaliam diferenças de subgrupo; testes de Wilcoxon signed-rank comparam C0 vs. C1.
  • Robustez: Uma verificação de modelo nulo ($s=0$, sem efeitos de fator) e uma varredura de magnitude de efeito ($s=0$ a $2$) validam a sensibilidade da análise. Uma reimplementação independente confirma os resultados.

Principais Contribuições

1. Design de Avaliação: Um framework reutilizável apresentando quatro fatores de subgrupo anotados, divisões sujeito-disjuntas, métricas por subgrupo e uma verificação de modelo nulo.
2. Simulação Generativa: Uma simulação documentada que isola fatores específicos de variabilidade do motorista para testar mecanismos de detecção sem o ruído da coleta de dados do mundo real.
3. Achados Quantitativos sobre Variabilidade:
   • Geometria Ocular: Impacta significativamente as regras de limiar fixo (C0), causando altos falsos positivos para motoristas de olhos estreitos e baixa sensibilidade para motoristas de olhos largos. A calibração (C1) elimina amplamente este desequilíbrio.
   • Acessórios Oculares: Óculos de sol degradam severamente o desempenho das regras calibradas (C1). A compressão do sinal por óculos de sol faz com que o limiar calibrado caia abaixo do sinal de olho fechado real, levando a detecções perdidas. Isto é identificado como um problema de parâmetro de design (especificamente a fração de fechamento $\alpha$) e não uma falha inerente da calibração.
   • Iluminação: Condições noturnas aumentam os falsos positivos para regras fixas (C0), mas são melhor tratadas por regras calibradas (C1), embora o mecanismo envolva interações de ruído com o modelo.
   • Pose da Cabeça: Teve efeito mínimo nas magnitudes assumidas na simulação.
4. Orientação de Tamanho de Amostra: A análise de poder indica que detectar efeitos grandes (ex: impacto de acessórios oculares em C1) requer ~8 motoristas por subgrupo, efeitos moderados ~16–20, e efeitos pequenos ~30–40. Os conjuntos de dados públicos atuais (14–60 sujeitos) são frequentemente insuficientes para uma inferência robusta de subgrupo.
5. Checklist de Relato e Ferramentas: Um dashboard (Streamlit/Plotly) e um checklist para relato de subgrupos, enfatizando o bootstrapping ao nível do sujeito e a separação dos dados de calibração.

Resultos

• Desempenho Geral: Na simulação, a regra fixa (C0) alcançou uma precisão média superior (0,81) do que a regra calibrada (C1, 0,78), principalmente porque a C1 teve dificuldades com óculos de sol.
• Disparidades de Subgrupo:
  • C0: Motoristas de olhos estreitos sofreram uma alta FPR (0,36) comparado a olhos médios (0,07) e largos (0,04).
  • C1: Motoristas com óculos de sol viram uma queda dramática na precisão (0,62) e sensibilidade (0,24) comparado a motoristas sem acessórios (0,80).
• Eficácia da Calibração: A calibração reduziu as disparidades causadas pela geometria ocular e iluminação noturna, mas introduziu uma nova vulnerabilidade aos óculos de sol. A simulação sugere que um "portão de confiabilidade" (ex: detectar compressão de sinal) é necessário para mitigar o modo de falha dos óculos de sol.
• Independência: A reimplementação independente confirmou os padrões qualitativos, com diferenças quantitativas dentro de 0,05, validando que os achados derivam da estrutura do modelo.

Significância e Alegações
O artigo afirma explicitamente que seus achados são condicionais às suposições da simulação e não constituem evidência sobre motoristas reais. A significância reside em:

• Definição de Hipóteses: Estabelecer hipóteses testáveis sobre como fatores específicos do motorista (geometria, acessórios, pose, luz) afetam a detecção de fadiga.
• Especificação de Protocolo: Fornecer um checklist de relato rigoroso e requisitos de tamanho de amostra para futuros estudos com dados reais para garantir que possam detectar disparidades de subgrupo.
• Orientação de Design de Sistema: Sugerir que sistemas práticos devem empregar calibração por motorista combinada com um portão de qualidade de sinal (para lidar com óculos de sol) e relatar o desempenho por subgrupo em vez de uma única métrica agrupada.
• Avaliação de Recursos: Destacar que os conjuntos de dados públicos existentes são frequentemente pequenos demais ou carecem das anotações necessárias (ex: tom de pele padronizado ou pose da cabeça) para suportar uma análise de subgrupo robusta sem o agrupamento de múltiplos datasets.

O autor conclui que, embora a simulação mostre que a calibração pode deslocar tipos de erro (corrigindo problemas de geometria, mas exacerbando problemas de acessórios oculares), o valor último desses achados deve ser determinado por um estudo planejado com dados reais utilizando o design de avaliação proposto.