Resumo Técnico: Autonomia Robótica com Portão de Confiança

1. Formulação do Problema

Sistemas robóticos frequentemente dependem de autonomia com portão de confiança, onde um modelo de percepção prevê uma ação ou rótulo de atividade, e uma pontuação de incerteza associada determina se o robô executa autonomamente ou recorre a uma política de fallback. Este mecanismo formaliza o compromisso risco-cobertura inerente à previsão seletiva.

O problema central abordado é a avaliação da incerteza preditiva neste contexto específico. Métricas padrão como Erro de Calibração Esperado (ECE) e Área Sob a Curva Característica Operacional do Receptor (AUROC) avaliam a calibração probabilística ou o ranking global, mas não medem diretamente se as pontuações de incerteza induzem decisões de agir/recorrer materialmente diferentes. Os autores questionam como a incerteza deve ser avaliada quando seu papel principal é gatear a execução em vez de fornecer probabilidades calibradas, particularmente sob condições de competência do modelo e deslocamento de distribuição.

2. Metodologia

Framework de Avaliação

Os autores propõem um protocolo de avaliação centrado na decisão que trata a incerteza como uma variável de decisão, e não como uma quantidade probabilística. O framework depende de três componentes principais:

1. Correlação de Rank de Spearman ($\rho$): Mede a correlação entre pontuações de incerteza e indicadores binários de erro. Isso avalia se maior incerteza é consistentemente atribuída a previsões errôneas, o que é o requisito fundamental para um gateamento eficaz.
2. Teste de Equivalência Bootstrap em Pares: Utiliza reamostragem não paramétrica ($B=1000$) para determinar se as diferenças entre estimadores de incerteza são operacionalmente significativas. Uma margem conservadora de $\delta = 0.01$ é usada para definir equivalência prática.
3. Acordo Agir/Recorrer: Compara os conjuntos de amostras selecionadas para execução autônoma entre diferentes estimadores quando os limiares são igualados pela cobertura (e não pelo valor bruto da pontuação).

Configuração Experimental

• Benchmarks: Três conjuntos de dados de reconhecimento de atividades temporais com regimes de precisão variados:
  • EGO4D: Reconhecimento de ação egocêntrica (7 classes, ~63,5% de precisão).
  • iAssist: Reconhecimento de atividade assistiva a partir de IMU/gaze (8 classes, ~96,5% de precisão).
  • GTEA: Reconhecimento de atividade gaze-plus (20 classes, ~46% de precisão).
• Estimadores de Incerteza: Sete métodos foram avaliados:
  • Heurísticas derivadas de Softmax (Entropia, Margem, Razão de Variação, Menor Confiança).
  • MC Dropout (Entropia Preditiva, Variância Epistêmica de $T=30$ passagens).
  • Deep Ensembles (Entropia de 3 membros).
• Protocolos de Robustez:
  • Análise de Competência: Modelos foram treinados em subconjuntos (5%–70%) dos dados de treinamento para identificar o limiar de precisão onde a incerteza se torna útil para decisão.
  • Deslocamento de Covariável Temporal: Conjuntos de teste foram corrompidos via exclusão de quadros, ruído gaussiano e jitter temporal em cinco níveis de severidade.
  • Detecção Semântica OOD: Avaliada usando classes retidas (aleatórias e raras) para testar a detecção de novidade em nível fino.
• Simulação Incorporada: Uma simulação mínima PyBullet mapeou 7 classes de atividade para 3 primitivas de navegação (esquerda, reto, direita). Mediu taxas de colisão e custo total sob diferentes níveis de autonomia e escolhas de estimadores.

3. Resultados Chave

O Regime de Competência

A incerteza fornece um ranking confiável de erros apenas após o modelo base entrar em um regime de competência dependente do conjunto de dados.

• Abaixo de um limiar específico de precisão (ex: ~33% para GTEA, ~58% para EGO4D, ~70% para iAssist), as pontuações de incerteza produzem rankings fracos e instáveis com alta variabilidade entre as sementes de treinamento.
• Acima deste regime, as pontuações de incerteza classificam consistentemente os erros, permitindo um gateamento eficaz.

Equivalência dos Estimadores

Uma vez que o modelo é competente, a escolha do estimador de incerteza tem impacto negligenciável nos resultados de execução:

• Comportamento de Gateamento Similar: Heurísticas de Softmax, MC Dropout e ensembles produzem valores de Spearman $\rho$ quase idênticos e acordos agir/recorrer (>97–99%).
• Domínio do Limiar: A escolha do limiar de execução ($\tau$) tem um efeito substancialmente maior nos resultados do que a escolha do estimador. Por exemplo, restringir a execução às 10% mais confiantes previsões no EGO4D reduziu o erro de execução em 46%, enquanto mudar da entropia de softmax para a margem alterou a precisão em menos de 0,5%.
• Validação Incorporada: Na simulação de navegação, quando a autonomia realizada foi igualada, diferentes estimadores resultaram em taxas de colisão e custos estatisticamente indistinguíveis.

Robustez ao Deslocamento

• Deslocamento de Covariável Temporal: Sob corrupções temporais (ex: exclusão de quadros), a qualidade do ranking ($\rho$) permaneceu estável, e o gateamento reduziu efetivamente o erro de execução (ex: uma redução de 3,4$\times$ no EGO4D). O sistema exibiu degradação graciosa.
• Detecção Semântica OOD: Em contraste, a detecção de novidade semântica Out-of-Distribution (OOD) em nível fino permaneceu próxima ao acaso (AUROC $\approx$ 0,35–0,49). Os modelos frequentemente estavam mais confiantes em classes retidas do que em classes dentro da distribuição, um modo de falha conhecido de detecção baseada em softmax quando classes não vistas compartilham características com as vistas.

4. Contribuições

O artigo reivindica as seguintes contribuições:

1. Protocolo Centrado na Decisão: Introdução de um framework de avaliação baseado em correlação de rank, teste de equivalência bootstrap e acordo agir/recorrer, indo além das métricas de calibração padrão.
2. Identificação do Regime de Competência: Evidência empírica de que a incerteza é apenas útil para decisão acima de um limiar específico de precisão, dependente do conjunto de dados.
3. Interchangeabilidade dos Estimadores: Demonstração de que, em regimes competentes, heurísticas leves de softmax são praticamente equivalentes a métodos computacionalmente caros (MC Dropout, Ensembles) para autonomia com portão de limiar.
4. Limiar vs. Estimador: Evidência de que a seleção do limiar é o principal motor dos resultados de execução, e não a escolha do estimador de incerteza.
5. Assimetria de Deslocamento: Esclarecimento de que proxies de incerteza são suficientes para deslocamento de covariável temporal, mas falham na detecção de novidade semântica em nível fino.

5. Significado e Implicações

O artigo argumenta por uma mudança na forma como a autonomia robótica é implantada e avaliada. A implicação principal é que a competência em nível de tarefa deve ser estabelecida antes que o gateamento de incerteza seja eficaz. Uma vez que um modelo é competente, os praticantes devem priorizar o ajuste do limiar com base em razões de custo específicas da aplicação (equilibrando erro vs. custos de deferimento) em vez de investir em métodos complexos de estimativa de incerteza.

Os autores sugerem uma ordem prática de implantação:

1. Estabelecer competência em nível de tarefa.
2. Ajustar o limiar de execução para o compromisso risco-cobertura desejado.
3. Implantar proxies simples de incerteza (ex: entropia de softmax) para lidar com deslocamentos de covariável temporal.
4. Implementar mecanismos de conjunto aberto dedicados quando novidade semântica é esperada, pois pontuações padrão de incerteza são insuficientes para esta tarefa.

O estudo reconhece limitações, observando que os resultados incorporados dependem fortemente da política de fallback e que a simulação usa um mapeamento de ação simplificado. No entanto, fornece fundamentação em nível de consequência para a afirmação de que, em configurações com portão de limiar, o "como" da estimativa de incerteza importa menos do que o "quando" (competência) e o "onde" (limiar) de sua aplicação.