Active Calibration of Reachable Sets Using Approximate Pick-to-Learn

Resumo Técnico: Calibração Ativa de Conjuntos Alcançáveis Usando "Approximate Pick-to-Learn"

1. O Problema

Em aplicações críticas para a segurança (como sistemas autônomos e drones), a análise de alcançabilidade (reachability analysis) é fundamental para garantir que um sistema dinâmico opere dentro de limites seguros. Tradicionalmente, esses métodos exigem modelos de dinâmica predefinidos e são computacionalmente intensivos.

Recentemente, algoritmos baseados em aprendizado de máquina foram usados para calcular conjuntos alcançáveis, mas apresentam desafios significativos:

• Incerteza do Modelo: Modelos aprendidos podem conter erros, especialmente nas fronteiras do conjunto alcançável, levando a classificações incorretas de pontos inseguros como seguros.
• Custo de Calibração: Para fornecer garantias probabilísticas de segurança, é necessário calibrar o conjunto alcançável usando amostras de dados. Métodos tradicionais (como otimização de cenários) exigem um número muito grande de amostras (custosas) para obter garantias fortes.
• Limitações de Amostras IID: A calibração iterativa, onde o conjunto é atualizado a cada nova amostra, viola a suposição de que as amostras são independentes e identicamente distribuídas (IID), quebrando as premissas de muitos trabalhos anteriores.
• Definição de Calibração: Não está claro como atualizar o conjunto alcançável de forma ótima durante o processo de aprendizado.

2. Metodologia Proposta

Os autores propõem enquadrar a calibração de conjuntos alcançáveis como um problema de Aprendizado Ativo, onde apenas as amostras mais necessárias são selecionadas. A metodologia central é uma adaptação do algoritmo Pick-to-Learn (Pacagnan et al.) para o contexto de aprendizado ativo, chamada de Approximate Pick-to-Learn.

Os pilares da metodologia são:

• Formulação do Problema:

  • O objetivo é encontrar um conjunto alcançável (nível zero de uma função de valor) com garantias probabilísticas de que a função aprendida $h(x)$ tenha baixo erro em estados não vistos.
  • O erro $e_h(z)$ é binário: 1 se a função aprendida falha em prever corretamente o sinal do valor (seguro vs. inseguro), 0 caso contrário.

• Adaptação do Pick-to-Learn para Aprendizado Ativo:

  • No aprendizado supervisionado padrão, o Pick-to-Learn constrói um conjunto comprimido $Q$ selecionando iterativamente os pontos onde o modelo atual tem o pior desempenho (maximizando uma ordem total dependente do hipótese).
  • No aprendizado ativo, não se tem um conjunto de dados rotulados completo. Portanto, os autores redefinem o conjunto de dados $D$ como um conjunto não rotulado de estados.
  • Como o erro real $e_h(z)$ é desconhecido para todos os pontos, eles não podem maximizá-lo diretamente. Em vez disso, eles maximizam uma função de erro aproximada $\hat{e}_{h,\eta}(x)$.

• Calibração via Conformal Prediction:

  • Para garantir que a estratégia de amostragem ativa (que maximiza a função aproximada) seja válida, eles utilizam Conformal Prediction.
  • Um conjunto de calibração separado $C$ é usado para calcular um parâmetro $\lambda$ que ajusta a função de erro aproximada. Isso cria um limite superior conservador para o erro real com alta probabilidade.
  • A ordem total aproximada $\hat{\leq}_{h,\eta}$ é definida de modo que, com alta probabilidade, se o erro real for alto, o erro aproximado também será alto.

• Algoritmo (Approximate Pick-to-Learn):

  1. Inicializa-se com um modelo $h_0$ e um conjunto de compressão vazio $Q$.
  2. Iterativamente, seleciona-se o ponto $x$ no espaço de estados que maximiza o erro aproximado $\hat{e}_{h,\eta}(x)$.
  3. Obtém-se o valor real (simulação) para esse ponto e adiciona-se ao conjunto $Q$.
  4. Re-treina-se o modelo $h$ com $Q$.
  5. Atualiza-se o limite de erro aproximado usando o conjunto de calibração $C$.
  6. O processo termina quando o erro aproximado em todos os pontos candidatos for menor que um limiar $\omega$.

3. Contribuições Principais

1. Enquadramento como Aprendizado Ativo: A calibração de conjuntos alcançáveis é tratada como um problema de seleção ativa de dados, permitindo a obtenção de garantias probabilísticas com menos amostras.
2. Algoritmo Approximate Pick-to-Learn: Uma extensão teórica do algoritmo Pick-to-Learn para cenários de aprendizado ativo, estabelecendo limites de generalização probabilísticos rigorosos mesmo quando as amostras não são IID (devido à natureza adaptativa do processo).
3. Eficiência e Precisão: O método equilibra trade-offs entre complexidade de amostragem, força da garantia e precisão do conjunto alcançável, superando métodos de base (baselines) existentes.

4. Resultados Experimentais

Os autores validaram a metodologia em uma simulação de corrida de drones, onde um drone "ego" deve ultrapassar outro drone e alcançar um portão, evitando colisões.

• Configuração: O espaço de estados é de 12 dimensões. O método foi testado em fatias 2D, 3D e 4D do espaço.
• Comparação: O método foi comparado com duas abordagens de base (baselines):
  • LB Iterative: Ajusta o nível da função de valor baseada em amostras IID.
  • LB Robust: Usa otimização de cenários robusta.
• Desempenho:
  • Redução de Amostras: O método proposto alcançou garantias de segurança com menos amostras do que a maioria das configurações das baselines.
  • Precisão (FPR/FNR): O método demonstrou taxas de falsos positivos (FPR) e falsos negativos (FNR) mais equilibradas e geralmente melhores. As baselines tendiam a minimizar um erro às custas do outro (ex: ser muito conservador ou muito perigoso).
  • Robustez em Cenários Difíceis: Em fatias do espaço de estados onde o modelo inicial era menos preciso (cenários menos comuns), o método proposto manteve-se eficaz, enquanto as baselines (que dependem apenas de ajustar o nível da função aprendida) falharam em capturar a geometria correta do conjunto.
  • Escalabilidade: O método mostrou-se escalável, embora em dimensões mais altas (4D) tenha sido necessário relaxar os parâmetros de confiança ($\alpha$) para reduzir o número de amostras, com um custo aceitável na precisão.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na segurança de sistemas autônomos aprendidos. Ao unificar o processo de aprendizado e a garantia probabilística através do aprendizado ativo e da previsão conformal, os autores permitem uma noção adaptativa de segurança.

• Impacto Prático: O método reduz o custo computacional e de simulação necessário para validar sistemas de segurança crítica, tornando viável a calibração de modelos complexos em tempo real ou em ambientes com recursos limitados.
• Contribuição Teórica: A adaptação do Pick-to-Learn para o aprendizado ativo fornece um novo quadro teórico para garantir que estratégias de amostragem adaptativa não comprometam as garantias estatísticas finais.
• Futuro: Os autores planejam aplicar esses princípios em experimentos de hardware e investigar a relação entre as garantias probabilísticas e a conservadorismo dos conjuntos em dimensões ainda mais altas.

Em suma, a técnica permite que sistemas autônomos aprendam seus limites de segurança de forma mais eficiente, selecionando inteligentemente quais dados coletar para validar sua própria segurança, em vez de depender de amostragem aleatória massiva.