Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing

1. Declaração do Problema

A integração de Aprendizado de Máquina (ML), particularmente Redes Neurais Profundas (DNNs), em sistemas críticos para a segurança (por exemplo, aviação, condução autónoma) introduz desafios significativos de fiabilidade. As DNNs carecem de robustez, frequentemente falham sob entradas imprevistas e exibem confiança excessiva em previsões incorretas. Embora existam monitores de segurança em tempo de execução para mitigar esses riscos, a investigação atual está fragmentada entre diferentes comunidades (confiabilidade versus aprendizado de máquina).

• A Lacuna: Os métodos de monitorização existentes operam em silos com terminologias e âmbitos diferentes. Alguns focam-se em restrições operacionais a nível de sistema, outros em desvios estatísticos na distribuição de dados e outros em estados internos do modelo.
• A Consequência: Esta falta de unificação leva a uma cobertura de segurança parcial, metodologias sobrepostas e dificuldade em comparar ou combinar diferentes monitores utilizando métricas comuns. Não existe um quadro unificado para categorizar sistematicamente as ameaças e selecionar estratégias de monitorização adequadas.

2. Metodologia: O Quadro SwMF

Os autores propõem um quadro unificado chamado SwMF (Safety-critical ML Monitoring Framework). Este quadro redefine o espaço de entrada do ML e categoriza as abordagens de monitorização com base nas "ameaças de dados" específicas que abordam.

A. Decomposição do Espaço de Entrada

Os autores projetam três conceitos-chave no espaço de entrada do ML (por exemplo, imagens) para definir domínios e ameaças distintos:

1. Domínio de Design Operacional (ODD): O conjunto de condições sob as quais o sistema foi concebido para operar (por exemplo, clima, altitude, visibilidade da pista).
   • Ameaça: Violações do ODD. Entradas fora das condições operacionais pretendidas.
2. Domínio Dentro da Distribuição ($D_{ID}$): Dados extraídos da mesma distribuição que os dados de treino.
   • Ameaça: Ameaças Fora da Distribuição (OOD). Entradas que estão dentro do ODD, mas estatisticamente diferentes dos dados de treino (por exemplo, desvios de covariância como mudanças de iluminação, ou desvios semânticos como novas classes de objetos).
3. Âmbito do Modelo ($D_f$): O subconjunto de entradas onde o modelo de ML específico $f$ produz previsões corretas.
   • Ameaça: Erros Dentro da Distribuição (ID). Entradas que estão dentro de $D_{ID}$, mas ainda causam a falha do modelo (por exemplo, ataques adversariais, falhas físicas subtis ou limites de generalização do modelo).

B. Categorização dos Monitores

Com base nestas ameaças, o quadro define três categorias complementares de monitores:

1. Monitores ODD: Monitores baseados em regras que verificam variáveis do sistema (por exemplo, GPS, IMU, sensores meteorológicos) contra restrições predefinidas. Rejeitam entradas antes de chegarem ao modelo de ML se as condições operacionais forem inválidas.
2. Monitores OOD: Monitores orientados por dados que detetam anomalias estatísticas nos dados de entrada (por exemplo, brilho, entropia, densidade de bordas) em comparação com a distribuição de treino. Rejeitam entradas que se desviam da distribuição de treino, mas que ainda estão dentro do ODD.
3. Monitores OMS (Fora do Âmbito do Modelo): Monitores post-hoc que analisam as características internas do modelo de ML (por exemplo, logits, ativações de neurónios) ou saídas para detetar comportamentos anómalos. Alvo especificamente entradas onde o modelo é provável que falhe, mesmo que a entrada pareça "normal".

C. Configuração Experimental

• Aplicação: Aterrassagem Baseada em Visão (VBL), especificamente a subtarefa de Detecção de Pista (VBRD).
• Conjunto de Dados: O conjunto de dados LARD (imagens sintéticas geradas via Google Earth Studio).
• Modelo: YOLOv5-n (um detetor de objetos de estágio único).
• Arquitetura: Um pipeline de monitorização em série onde os monitores ODD executam primeiro, seguidos pelos monitores OOD e, finalmente, pelos monitores OMS após a previsão do modelo.
• Métricas de Avaliação: Métricas orientadas para a segurança propostas por Guerin et al.:
  • Ganho de Segurança (SG): Proporção de situações perigosas filtradas corretamente.
  • Risco Residual (RH): Proporção de situações perigosas perdidas.
  • Custo de Disponibilidade (AC): Proporção de situações seguras rejeitadas erroneamente (falsos positivos).

3. Contribuições Principais

1. Terminologia Unificada: O artigo clarifica as definições de ODD, OOD e OMS, resolvendo a ambiguidade onde estes termos são frequentemente usados de forma intercambiável na literatura. Distingue explicitamente entre desvios na distribuição de dados (OOD) e regiões de falha do modelo (OMS).
2. Classificação Baseada em Ameaças: Introduz um mapeamento formal entre ameaças de dados específicas (violações de ODD, desvios OOD, erros ID) e a categoria de monitorização apropriada, fornecendo um guia de design sistemático para engenheiros de segurança.
3. Demonstração de Complementaridade: Através de experiências, os autores provam que estes três tipos de monitores abordam modos de falha diferentes e são inerentemente complementares, em vez de redundantes.
4. Avaliação Unificada: O quadro permite a comparação de monitores diversos utilizando um único conjunto de métricas de segurança (SG, RH, AC).

4. Resultados Experimentais

O estudo foi conduzido em duas experiências:

Experiência 1: Conjunto de Teste Nominal (Dados Sintéticos)

• Linha de Base: O modelo YOLOv5-n teve um Risco Residual (RH) de ~20% (o que significa que 20% das imagens causaram erros).
• Desempenho Individual:
  • Monitores ODD detetaram ~4,6% dos erros (SG).
  • Monitores OOD detetaram ~4,1% dos erros.
  • Monitores OMS detetaram ~4,0% dos erros.
• Desempenho Combinado: Quando os três monitores foram aplicados sequencialmente, o Ganho de Segurança aumentou para 9,7% e o Risco Residual caiu para 10,5%.
• Compromisso: A abordagem combinada aumentou o Custo de Disponibilidade (AC) para ~31%, o que significa que aproximadamente 30% das imagens seguras foram rejeitadas. Isto destaca o compromisso "segurança versus disponibilidade".

Experiência 2: Dados Corrompidos (Teste de Robustez)

• Configuração: As imagens foram corrompidas com mudanças de brilho, desfoque, nevoeiro e ruído.
• Monitor OOD: Altamente eficaz na rejeição de imagens corrompidas (alto SG), atuando como um filtro "preventivo". No entanto, isto resultou em Custos de Disponibilidade (AC) elevados, porque rejeitou dados mesmo quando o modelo poderia ter lidado corretamente.
• Monitor OMS: Menos eficaz em dados corrompidos em comparação com o OOD. Desempenhou melhor em entradas "limpas" mas difíceis (erros ID).
• Conclusão: Os resultados validam a arquitetura em série. Os monitores OOD devem filtrar desvios de distribuição óbvios primeiro, permitindo que os monitores OMS se concentrem em falhas de modelo subtis dentro da distribuição "segura" restante.

5. Significado e Conclusão

• Design Sistemático de Segurança: O quadro SwMF fornece uma abordagem estruturada para o design de sistemas de monitorização em tempo de execução, garantindo que todos os vetores de ameaça principais (operacionais, estatísticos e específicos do modelo) sejam cobertos.
• Ponte entre Comunidades: Consegue com sucesso fechar a lacuna entre a comunidade de confiabilidade (segurança a nível de sistema) e a comunidade de ML (distribuição de dados e comportamento do modelo).
• Implicações Práticas: O estudo confirma que, embora a combinação de monitores melhore significativamente a segurança (reduzindo o risco residual), aumenta inevitavelmente a taxa de falsos positivos (custo de disponibilidade). O trabalho futuro deve focar-se em otimizar este compromisso e melhorar a seleção de dados para o treino destes monitores para representar melhor as ameaças operacionais.

Em resumo, o artigo argumenta que uma estratégia de monitorização unificada e multicamada é essencial para a implementação segura de ML em sistemas críticos de aviação, avançando para além de soluções isoladas para uma arquitetura de segurança holística.