A Subjective Logic-based method for runtime confidence updates in safety arguments

Resumo Técnico: Um Método Baseado em Lógica Subjetiva para Atualizações de Confiança em Tempo Real em Argumentos de Segurança

Declaração do Problema
Os argumentos de garantia de segurança para componentes de aprendizado de máquina (ML), particularmente em ambientes dinâmicos como a condução autônoma, enfrentam um desafio crítico: argumentos estáticos baseados em evidências de tempo de projeto podem tornar-se inválidos ao longo do tempo devido a deslocamentos na distribuição de dados, deriva do modelo ou contextos operacionais em evolução. Embora padrões como o UL 4600 exijam o uso de Indicadores de Desempenho de Segurança (SPIs) para monitorar a validade do sistema, os métodos existentes para incorporar dados em tempo real frequentemente carecem da granularidade necessária para quantificar atualizações de confiança dinamicamente. Abordagens qualitativas tipicamente oferecem apenas resultados binários (refutação ou nenhuma mudança), enquanto atualizações bayesianas clássicas podem não priorizar adequadamente a resposta imediata de segurança sobre a equivalência exata do posterior. Há uma necessidade de um mecanismo formal que integre evidências contínuas e em janelas de tempo real em argumentos de garantia quantitativos, permitindo tanto a acumulação gradual de confiança quanto penalidades imediatas em caso de violações de segurança.

Metodologia
Os autores propõem um método que estende argumentos de garantia quantitativos estáticos, utilizando Lógica Subjetiva (LS), para incorporar SPIs em tempo real. O núcleo da metodologia envolve uma regra de atualização específica que combina dois operadores de LS: Fusão de Crença Cumulativa (CBF) e o Desafiador Refutador (RC).

1. Estrutura do Argumento: O caso de segurança é modelado como um argumento estruturado onde cada afirmação $c$ está associada a uma opinião binomial $\omega_c = (b, d, u, a)$, representando crença, descrença, incerteza e taxa base.
2. Modelagem de SPIs: Os SPIs em tempo real são tratados como predicados binários derivados de medições com limiar sobre uma janela de $k$ observações. Uma opinião de SPI $\omega_{SPI}$ é construída contando sucessos ($r$, sem violações) e falhas ($s$, violações) dentro da janela, mapeada para uma opinião de LS usando equações padrão.
3. A Regra de Atualização: A inovação central é a equação de atualização para uma opinião de afirmação $\omega_c$ dada uma nova opinião de SPI $\omega_{SPI}$:
   $$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$$
   • Operação Interna ($\oplus$): A Fusão de Crença Cumulativa acumula a evidência da janela de SPI. Se nenhuma violação ocorrer, isso aumenta a crença e reduz a incerteza na afirmação.
   • Operação Externa ($\boxtimes$): O Desafiador Refutador aplica uma penalidade imediata. A opinião de SPI é negada ($\neg\omega_{SPI}$) de modo que a crença em uma violação de SPI mapeie para descrença na afirmação. Este operador realoca massa da crença para a descrença proporcionalmente à gravidade da violação, garantindo que uma única violação possa degradar imediatamente a confiança, independentemente da acumulação anterior.

Este projeto desvia explicitamente das atualizações bayesianas Beta-Binomial conjugadas padrão. Em vez de apenas adicionar contagens, o método prioriza a responsividade relevante para a segurança, garantindo que violações acionem quedas de confiança corretivas imediatas, enquanto não violações permitem uma recuperação gradual da confiança.

Contribuições Principais

• Mecanismo de Atualização Nativo de LS: O artigo introduz uma regra de atualização explicitamente não bayesiana que integra SPIs em tempo real em janelas a argumentos de garantia quantitativos. Aproveita a capacidade da LS de distinguir entre confiança de primeira ordem (comprometimento com crença/descrença) e confiança de segunda ordem (precisão desse comprometimento).
• Regra de Atualização de Dupla Propriedade: A combinação de operadores proposta satisfaz duas propriedades críticas de segurança: (1) aumento gradual de confiança na ausência de violações, e (2) penalidades imediatas e direcionadas ao ocorrerem violações.
• Integração Formal de SPIs: O método fornece uma maneira formal de vincular SPIs líderes (indicadores proativos) diretamente a afirmações específicas dentro do argumento de garantia, permitindo a reavaliação contínua da validade do argumento.

Resultados Experimentais
O método é demonstrado usando uma simulação de um componente de detecção de cones de construção baseado em ML dentro de um sistema de veículo autônomo (plataforma APIKS).

• Cenário: Um detector baseado em YOLOv8 é monitorado quanto a falsos negativos em relação à verdade fundamental. Um SPI é definido com um limiar na razão de cones perdidos.
• Observações:
  • Quando ocorreram violações de SPI (por exemplo, devido a oclusão), a crença na afirmação caiu imediatamente e a descrença aumentou.
  • Em períodos sem violações, a incerteza diminuiu e a crença recuperou-se gradualmente.
  • As distribuições Beta resultantes mostraram que o método reduziu com sucesso a incerteza geral ao longo do tempo, mantendo a sensibilidade a eventos críticos para a segurança.
  • Diferentes cenários ilustraram como o método lida com evidências variadas: deslocando massa em direção à descrença quando as violações se acumulam, e em direção à crença quando a evidência é consistente, mantendo a incerteza quando os dados são insuficientes (por exemplo, em segmentos curtos noturnos).

Significado e Alegações
Os autores afirmam que este trabalho oferece uma abordagem prática e auditável para garantia de segurança contínua em sistemas baseados em IA. Ao alinhar-se com padrões como o UL 4600, o método preenche a lacuna entre argumentos estáticos de tempo de projeto e realidades operacionais dinâmicas.

• Governança: A abordagem fornece uma "narrativa de confiança" transparente que mapeia sinais brutos de tempo real para opiniões explícitas no nível da afirmação. Isso apoia operadores de frota e gestores de segurança a acionar mitigações (por exemplo, ajustes de parâmetros, supervisão humana) com base em limiares quantitativos.
• Auditabilidade: Cria um vínculo formal entre evidências em tempo real e o caso de segurança, permitindo que reguladores revisem como violações específicas impactaram a confiança.
• Integração com MLOps: O método conecta a degradação da confiança de garantia a ações de engenharia, como retreinamento direcionado ou aquisição de dados, vinculando efetivamente argumentos de segurança a fluxos de trabalho de MLOps.

O artigo reconhece limitações, observando que a eficácia depende do limiarização precisa dos SPIs e que o modelo atual assume janelas independentes e não sobrepostas. Sugere-se trabalho futuro para abordar correlações temporais, desconto baseado em tempo para evidências desatualizadas e a integração de SPIs líderes e atrasados dentro de uma estrutura de argumento unificada.