UAMTERS: Uncertainty-Aware Mutation Analysis for DL-enabled Robotic Software

1. Problema e Contexto

Os robôs autoadaptativos operam em ambientes dinâmicos e imprevisíveis, frequentemente utilizando componentes de Deep Learning (DL) para percepção, tomada de decisão e controle. No entanto, os modelos de DL possuem uma incerteza inerente (aleatória e epistêmica) decorrente de fatores como dados de treinamento limitados, ruído de sensores e mecanismos estocásticos de inferência (ex: dropout durante a inferência).

O problema central identificado é a falta de técnicas de análise de mutação capazes de avaliar a eficácia dos conjuntos de testes (test suites) especificamente sob a perspectiva dessa incerteza. As abordagens existentes focam em injetar falhas determinísticas ou tratam o dropout apenas como regularização de treinamento, ignorando como a incerteza estocástica durante a inferência pode levar a falhas críticas em robótica. Sem métricas adequadas, é difícil garantir a confiabilidade desses sistemas em condições reais.

2. Metodologia: UAMTERS

Os autores propõem o UAMTERS, um framework de análise de mutação consciente da incerteza. O fluxo de trabalho inclui:

• Geração de Mutantes Conscientes da Incerteza: Em vez de alterar pesos ou estruturas de forma estática, o UAMTERS injeta incerteza estocástica diretamente no tempo de inferência. São propostos dois operadores de mutação:
  1. MCD (MC-Dropout-based Mutation): Ativa camadas de dropout durante a inferência com uma taxa de mutação ($\mu$) controlada, simulando a variabilidade preditiva.
  2. MCB (MC-DropBlock-based Mutation): Estende o conceito anterior para modelos de detecção de objetos (CNNs), removendo blocos contíguos de neurônios, simulando incerteza espacial.
• Execução e Filtragem: Os mutantes são executados em conjuntos de testes filtrados (casos que passam no modelo original) para identificar desvios de comportamento.
• Novas Métricas de Pontuação de Mutação (Mutation Scores): Para avaliar a qualidade do teste, o framework introduz métricas específicas para detecção de objetos e incerteza:
  • Nível de Imagem: Baseado na presença estatisticamente significativa de falhas (objetos perdidos ou fantasmas).
  • Nível de Objeto: Quantifica a proporção de objetos corretamente detectados pelo modelo original mas perdidos (Miss) ou falsamente detectados (Ghost) pelo mutante.
  • Baseado em IoU (Intersection over Union): Mede a degradação na sobreposição espacial das caixas delimitadoras.
  • Consciente da Incerteza (UA-MS): Calcula a diferença nas métricas de quantificação de incerteza (como Entropia de Shannon, Variação de Razão, Informação Mútua, Variância Total e Superfície Preditiva) entre o modelo original e o mutante.

3. Contribuições Principais

1. Framework UAMTERS: Uma abordagem sistemática para injetar e simular incerteza estocástica em software robótico habilitado por DL.
2. Operadores de Mutação Inovadores: MCD e MCB, projetados especificamente para modelar a incerteza preditiva em tempo de execução.
3. Métricas de Avaliação: Definição de 19 novas métricas de pontuação de mutação (incluindo Obj-MS, IoU-MS e UA-MS) que quantificam a capacidade de um conjunto de testes em revelar degradação de desempenho induzida pela incerteza.
4. Validação Empírica Industrial: Avaliação extensiva em três estudos de caso robóticos de nível industrial (um robô de remoção de adesivos, um robô de desmontagem de laptops e um robô móvel TIAGo Pro), cobrindo 7 modelos DL e 8 conjuntos de testes.

4. Resultados e Análise

Os resultados foram analisados através de três perguntas de pesquisa (RQs):

• RQ1 (Comparação com Métricas Tradicionais): As novas métricas (Obj-MS, IoU-MS, UA-MS) demonstraram ser significativamente mais eficazes do que as métricas tradicionais baseadas em imagem (Img-MS) para distinguir a qualidade de diferentes conjuntos de testes. Enquanto as métricas tradicionais frequentemente falharam em diferenciar testes (exibindo pontuações de 1.0 ou 0.0), as novas métricas capturaram nuances na degradação do modelo.
• RQ2 (Eficácia na Distinção de Testes): Testes estatísticos (Kruskal-Wallis) confirmaram que as métricas propostas, especialmente MSmiss_obj (objetos perdidos) e MSmg_obj (combinação), apresentam tamanhos de efeito grandes e diferenças estatisticamente significativas entre conjuntos de testes de alta e baixa qualidade.
• RQ3 (Correlação com Níveis de Incerteza): As métricas propostas mostraram uma correlação positiva forte e estatisticamente significativa com as taxas de mutação (nível de incerteza injetada). Isso confirma que, à medida que a incerteza aumenta, as métricas conseguem capturar a degradação do modelo de forma consistente. As métricas baseadas em Miss e Match foram as mais estáveis, enquanto métricas baseadas em Ghost apresentaram comportamentos mais variáveis dependendo da arquitetura do modelo.

5. Significado e Impacto

O trabalho é significativo porque:

• Preenche uma Lacuna Crítica: Oferece a primeira abordagem sistemática para avaliar testes de software robótico considerando a incerteza intrínseca do DL, indo além da simples detecção de erros determinísticos.
• Suporte ao Ciclo MAPLE-K: O framework integra-se diretamente ao componente "Legitimate" do ciclo de adaptação de robôs (MAPLE-K), permitindo validar se as ações planejadas são seguras antes da execução em ambientes incertos.
• Guia para Engenharia de Testes: As métricas propostas podem orientar a geração de testes, priorização e melhoria de conjuntos de testes existentes, focando em cenários onde a incerteza do modelo leva a falhas de segurança.
• Aplicabilidade Industrial: A validação em robôs reais (DTI e PAL Robotics) demonstra a viabilidade prática da técnica em cenários de segurança crítica, como desmontagem de eletrônicos e interação humano-robô.

Em resumo, o UAMTERS fornece ferramentas essenciais para garantir a dependabilidade de robôs autônomos ao quantificar e testar especificamente os riscos associados à incerteza dos modelos de Deep Learning.