🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

Este artigo propõe o ASAT, um framework de humano no ciclo (human-in-the-loop) que adapta dinamicamente funções de pontuação e limiares usando feedback de fora da distribuição (out-of-distribution) do mundo real para maximizar as taxas de verdadeiros positivos enquanto controla estritamente as taxas de falsos positivos, superando, assim, métodos existentes em detecção robusta de OOD.

Autores originais: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Publicado 2026-08-07

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma nave espacial navegando através de um campo de asteroides denso e nebuloso. O computador da sua nave é incrivelmente inteligente, mas foi treinado apenas para reconhecer as formas específicas de asteroides que viu durante seu campo de treinamento. Agora, conforme você voa mais fundo no espaço, começa a encontrar objetos estranhos e novos: cubos de gelo flutuantes, águas-vivas brilhantes e nuvens metálicas. Estes são inputs "fora da distribuição" (OOD - Out-of-Distribution): coisas que o computador nunca viu antes. Se o computador confundir um objeto perigoso e desconhecido com um asteroide seguro, sua nave pode colidir. Este é o cerne do problema da detecção de Out-of-Distribution (OOD): ensinar a IA a dizer: "Eu não sei o que é isso", em vez de adivinhar e potencialmente cometer um erro fatal.

Para resolver isso, os cientistas geralmente constroem um sistema de "folha de pontuação". O computador dá uma pontuação a cada objeto: pontuações altas significam "tenho certeza de que este é um asteroide normal" e pontuações baixas significam "isso parece estranho". Eles então desenham uma linha, chamada limiar (threshold), para decidir quando soar o alarme. Se a pontuação estiver abaixo da linha, eles param e pedem ajuda a um especialista humano. A parte difícil é definir essa linha. Se você a definir muito alta, pode perder objetos perigosos (um "falso negativo"). Se a definir muito baixa, pode parar a nave por causa de cada pedrinha, desperdiçando tempo e combustível (um "falso positivo"). Em trabalhos críticos para a segurança, como diagnóstico médico ou carros autônomos, um falso positivo pode ser tão ruim quanto um falso negativo; você não quer que um médico diga a um paciente saudável que ele tem câncer, nem quer que um carro ignore um obstáculo real.

Este artigo, intitulado ASAT, aborda o problema de como manter essa folha de pontuação e a linha de alarme perfeitas, mesmo conforme o universo muda ao redor da nave. Os autores, Daisuke Yamada, Harit Vishwakarma e Ramya Korlakai Vinayak, propõem um novo sistema que não apenas define uma regra e a esquece. Em vez disso, eles criaram uma estrutura de "humano no circuito" (human-in-the-loop) que aprende sobre a marcha. Eles descobriram que os métodos antigos, que dependem de uma folha de pontuação fixa e uma linha estática, frequentemente falham quando os objetos "estranhos" mudam ao longo do tempo. Sua nova abordagem, ASAT, atualiza constantemente tanto a folha de pontuação quanto a linha de alarme com base no feedback em tempo real de especialistas humanos, garantindo que o sistema permaneça seguro enquanto se torna mais inteligente.

O Problema do "Configurar e Esquecer"

Imagine que você é um segurança de um museu. Você recebeu uma lista de pinturas famosas (os dados "dentro da distribuição" ou ID) e foi instruído a deter qualquer um que segure uma falsificação. Você cria uma regra: "Se a pintura parecer mais de 95% parecida com uma real, deixe-os passar". É assim que a maioria dos sistemas de IA atuais funciona. Eles são treinados em dados conhecidos e definem um limiar para capturar 95% das coisas reais.

Mas aqui está a armadilha: o artigo aponta que este método deixa um enorme buraco na sua segurança. Enquanto você está ocupado capturando 95% das pinturas reais, você pode acidentalmente deixar passar 90% das falsificações porque sua regra era muito frouxa no lado "estranho". No mundo da IA, isso é chamado de uma alta Taxa de Falsos Positivos (FPR - False Positive Rate). Em um contexto médico, isso significa que a IA pode dizer a uma pessoa saudável que ela tem um tumor, causando pânico desnecessário e testes caros. O artigo argumenta que simplesmente visar uma alta "Taxa de Verdadeiros Positivos" (capturar as coisas boas) sem controlar estritamente a "Taxa de Falsos Positivos" (não dar alarmes falsos) é perigoso.

Além disso, a forma antiga é rígida. Imagine que o museu comece a receber um novo tipo de falsificação: hologramas. Sua regra antiga, projetada para falsificações em papel, pode não funcionar para hologramas de forma alguma. O sistema fica travado, incapaz de se adaptar porque nunca foi ensinado a mudar suas regras depois que as portas foram abertas.

Entra o ASAT: O Segurança Adaptável

Os autores propõem o ASAT (Scoring e Limiar Adaptativo com Feedback Humano). Pense no ASAT não como um robô com um livro de regras estático, mas como um detetive que aprende com cada caso.

Aqui está como a mágica acontece:

A Folha de Pontuação (Função de Pontuação): Em vez de usar uma fórmula fixa para julgar o quão "estranho" é um objeto, o ASAT pode reescrever sua própria fórmula. Se ele continuar identificando incorretamente um tipo específico de objeto estranho, ele pergunta a um especialista humano: "Ei, isso é uma falsificação?". Se o humano disser: "Sim, isso é um holograma", o ASAT atualiza sua folha de pontuação interna para reconhecer melhor os hologramas na próxima vez.
A Linha de Alarme (Limiar): A linha que decide quando parar a nave também não é estática. O ASAT move essa linha para cima ou para baixo para garantir que ele nunca deixe passar mais do que uma pequena porcentagem segura de falsificações (controlando estritamente a FPR).
O Ciclo Humano: O sistema é inteligente o suficiente para saber quando está inseguro. Se um objeto estiver logo na borda da linha de alarme, o ASAT faz uma pausa e pede um rótulo verdadeiro a um humano. Esse feedback humano é o combustível que alimenta as atualizações.

O artigo demonstra que o ASAT é uma estrutura de "humano no circuito". Ele não apenas adivinha; ele aprende. Quando um novo tipo de dado OOD aparece (como os hologramas), o ASAT adapta sua função de pontuação e seu limiar simultaneamente.

O Que Eles Descobriram: Mais Inteligente e Mais Seguro

Os pesquisadores testaram o ASAT em um benchmark famoso chamado OpenOOD, usando conjuntos de dados como o CIFAR-10 (que atua como os dados "normais") e vários outros conjuntos de dados como os dados "estranhos". Eles compararam o ASAT com outros dois métodos:

FSFT: Uma folha de pontuação fixa e um limiar fixo (a maneira antiga e rígida).
FSAT: Uma folha de pontuação fixa, mas um limiar adaptável (um meio termo).

Em seus experimentos, os resultados foram claros. Os métodos fixos antigos (FSFT) frequentemente apresentavam taxas de falsos positivos muito altas, às vezes deixando passar entre 32% e 91% dos dados "estranhos" como se fossem normais. Isso é um desastre para a segurança. O método FSAT foi melhor em controlar os alarmes falsos, mas, como não conseguia mudar sua folha de pontuação, perdeu a oportunidade de capturar muitos dos objetos "estranhos" que um sistema mais inteligente poderia ter identificado.

O ASAT, no entanto, conseguiu fazer ambos. Ele manteve a taxa de falsos positivos estritamente abaixo da meta de 5% (o limite de segurança) enquanto melhorou significamente a Taxa de Verdadeiros Positivos. Em alguns testes, o ASAT melhorou a capacidade de capturar os objetos "estranhos" em mais de 40% em comparação com os melhores métodos fixos.

O artigo também observou o que acontece quando os objetos "estranhos" mudam repentinamente (um cenário não estacionário). Imagine que o museu mude de falsificações de papel para hologramas da noite para o dia. Os sistemas antigos ficam confusos e começam a deixar as falsificações passarem. O ASAT, porém, percebe rapidamente que o padrão mudou. Ele usa o novo feedback humano para atualizar sua folha de pontuação e seu limiar, retornando a um estado seguro com apenas um pico temporário e breve de erros antes de se adaptar.

A Rede de Segurança: Como Eles Sabem que Funciona

Você pode se perguntar: "Se o sistema está mudando suas próprias regras, como sabemos que ele não vai quebrar?". Os autores não apenas rodaram simulações e esperaram pelo melhor; eles construíram uma rede de segurança matemática. Eles provaram teoricamente que, desde que os objetos "estranhos" permaneçam os mesmos por um tempo (condições estacionárias), o ASAT garantirá que a taxa de falsos positivos permaneça abaixo do limite definido pelo usuário (ex: 5%) em todos os momentos.

Eles usaram uma ferramenta estatística inteligente chamada "sequência de confiança tempo-uniforme" (time-uniform confidence sequence). Imagine uma rede de segurança que se estica e encolhe enquanto você caminha sobre uma corda bamba. Mesmo enquanto o sistema aprende e muda, essa rede matemática garante que a probabilidade de cair (cometer um erro) nunca exceda o limite de segurança. Eles mostraram que, embora o sistema esteja aprendendo de dados que dependem de suas próprias decisões anteriores (uma situação complicada para a matemática), a garantia de segurança se mantém.

Conclusão

O artigo conclui que o ASAT é um passo poderoso para a segurança da IA. Ele resolve as duas maiores dores de cabeça da detecção de OOD atual: a tendência de ter muitos alarmes falsos e a incapacidade de aprender com novas ameaças não vistas. Ao permitir que o sistema adapte sua "folha de pontuação" e seu "limiar de alarme" com a ajuda de especialistas humanos, o ASAT cria um sistema que é não apenas mais seguro, mas também mais eficiente, precisando de menos intervenção humana ao longo do tempo porque se torna melhor em realizar seu trabalho.

Embora os autores observem que suas garantias atuais dependem de os dados "estranhos" permanecerem relativamente consistentes, e que o feedback humano ruidoso pode ser um desafio, eles lançaram as bases para um futuro onde os sistemas de IA podem navegar com segurança pelo desconhecido, aprendendo e se adaptando em tempo real sem perder suas proteções de segurança.

Resumo Técnico: ASAT – Pontuação e Limiar Adaptativos com Feedback Humano para Detecção Robusta de Fora da Distribuição (Out-of-Distribution)

Definição do Problema

Modelos de aprendizado de máquina são tipicamente treinados sob a suposição de mundo fechado, onde os dados de teste seguem a mesma distribuição dos dados de treinamento (Dentro da Distribuição, ou ID). No entanto, em implantações de missão crítica, os modelos frequentemente encontram entradas Fora da Distribuição (OOD) — pontos de dados que não pertencem a nenhuma classe de treinamento. A falha em detectar essas entradas pode levar a erros catastróficos (ex: diagnosticar incorretamente um paciente).

Os métodos atuais de detecção de OOD sofrem de duas limitações primárias:

Taxas de Falsos Positivos (FPR) Incontroláveis: Abordagens padrão projetam funções de pontuação e definem limiares baseando-se exclusivamente em dados ID para atingir uma Taxa de Verdadeiros Positivos (TPR) alvo. Isso frequentemente deixa a FPR (classificar erroneamente OOD como ID) incontrolada, levando a taxas perigosamente altas de alarmes falsos em aplicações de segurança crítica.
Falta de Adaptabilidade: Entradas OOD do mundo real são diversas e evoluem ao longo do tempo. Funções de pontuação e limiares fixos, otimizados apenas nos dados ID iniciais, frequentemente falham em generalizar para novas distribuições OOD não vistas encontradas durante a implantação, resultando em uma TPR suboptimal.

O objetivo é desenvolver um sistema que controle estritamente a FPR enquanto maximiza adaptativamente a TPR, aproveitando o feedback humano sobre entradas OOD do mundo real.

Metodologia: Estrutura ASAT

Os autores propõem o ASAT (Pontuação Adaptativa e Limiar Adaptativo), uma estrutura de loop humano (human-in-the-loop) que atualiza tanto a função de pontuação quanto o limiar de decisão dinamicamente durante a implantação.

Fluxo de Trabalho

Pontuação e Amostragem: Em cada passo de tempo $t$ $t$ , o sistema pontua uma entrada $x_t$ $x_{t}$ usando a função de pontuação atual $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ e o limiar $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ .
- Se a pontuação estiver abaixo do limiar, a entrada é sinalizada como OOD.
- Se a pontuação estiver acima do limiar, a entrada é sinalizada como ID.
- Amostragem por Importância: Para estimar a FPR de forma imparcial, o sistema solicita um rótulo humano para entradas sinalizadas como OOD com probabilidade 1, e para entradas sinalizadas como ID com uma pequena probabilidade $p$ .
Aprendizado (Atualizações Periódicas): O ASAT não atualiza a cada passo para evitar sobrecarga computacional. As atualizações ocorrem apenas quando um número suficiente de novas amostras OOD ( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ ) foi coletado.
- Objetivo: O sistema resolve um problema de otimização restrita para encontrar uma nova função de pontuação $g$ e um novo limiar $\lambda$ que maximizem a TPR sujeitos a uma restrição de FPR ( $\leq \alpha$ ).
- Relaxação: Como as distribuições reais são desconhecidas, o sistema utiliza estimativas empíricas de TPR e FPR derivadas das amostras ID e OOD coletadas. As funções indicadoras não diferenciáveis são relaxadas usando substitutos sigmoides para permitir a otimização baseada em gradiente.
- Seleção de Modelo: Uma nova função de pontuação é implantada apenas se demonstrar uma melhoria estatisticamente significativa na TPR em relação ao modelo anterior, garantindo que as atualizações não degradem o desempenho.
Estimativa de Limiar (Garantia de Segurança): Mesmo após otimizar a função de pontuação, a solução não restrita pode violar o limite de FPR. Para garantir o controle estrito da FPR, o ASAT emprega um passo de estimativa de limiar (baseado no método FSAT). Ele calcula um limiar seguro $\hat{\lambda}_t$ construindo um Limite Superior de Confiança Uniformemente Válido (UCB) sobre a estimativa da FPR. Isso garante que, com alta probabilidade, a verdadeira FPR permaneça abaixo da tolerância $\alpha$ especificada pelo usuário.

Garantias Teóricas

O artigo fornece garantias teóricas para o controle de FPR sob condições estacionárias (onde a distribuição $D_0$ é fixa).

Confiança Uniforme no Tempo: Os autores derivam uma sequência de confiança uniforme no tempo usando extensões de martingales da Lei do Logaritmo do Iterado (LIL). Isso leva em conta as dependências introduzidas pela amostragem por importância e pelas funções de pontuação variantes no tempo.
Resultado: Com probabilidade de pelo menos $1-\delta$ , a FPR do sistema ASAT permanece abaixo do limiar especificado $\alpha$ em todos os tempos $t$ , mesmo conforme a função de pontuação evolui.

Principais Contribuições

Design de Estrutura: Introdução do ASAT, uma estrutura que ajusta conjuntamente a função de pontuação e o limiar usando feedback humano, contrastando com as bases de Pontuação Fixa Limiar Fixo (FSFT) e Pontuação Fixa Limiar Adaptativo (FSAT).
Segurança Teórica: Provisão de garantias teóricas formais que asseguram o controle da FPR em todos os momentos sob condições estacionárias, apesar da natureza dinâmica da função de pontuação.
Validação Empírica: Avaliações extensas nos benchmarks OpenOOD demonstrando que o ASAT supera os métodos existentes ao alcançar TPRs mais altas enquanto mantém o controle estrito da FPR.

Resultados Experimentais

Os autores avaliaram o ASAT nos benchmarks OpenOOD usando CIFAR-10 como o conjunto de dados ID e vários conjuntos de dados OOD (CIFAR-100, Places365, etc.).

Configurações Estacionárias

Controle de FPR: Ao contrário do FSFT, que exibiu FPRs altas (frequentemente 32%–91%) ao visar altas TPRs, tanto o FSAT quanto o ASAT mantiveram FPRs consistentemente abaixo da meta de 5%.
Desempenho de TPR: Embora o ASAT tenha inicialmente ficado atrás do FSAT devido aos limites de confiança mais amplos exigidos para a pontuação adaptativa, ele eventualmente superou o FSAT. O ASAT alcançou TPRs significativamente maiores que o FSAT (por exemplo, uma melhoria relativa de mais de 40% em certas configurações) ao aprender funções de pontuação melhor alinhadas com os dados OOD específicos encontrados.
Convergência: A TPR empírica do ASAT convergiu em direção à TPR ótima alcançável por uma função de pontuação treinada em ambos os dados ID e OOD.

Configurações Não Estacionárias

Adaptação a Desvios (Shifts): Quando a distribuição OOD mudou (ex: de "Far-OOD" para "Near-OOD"), o ASAT demonstrou capacidade de adaptação.
Violações Transitórias: Em cenários onde o novo OOD era mais difícil de distinguir do ID, o ASAT experimentou violações transitórias de FPR. No entanto, ele rapidamente adaptou sua função de pontuação e limiar para reduzir a FPR abaixo do limite, alcançando consistentemente uma TPR maior que o FSAT tanto antes quanto depois do desvio.
Janelamento (Windowing): O uso de uma janela deslizante para amostras OOD permitiu que o ASAT se adaptasse mais rapidamente aos desvios de distribuição, trocando um pouco de otimalidade por tempos de resposta mais rápidos.

Significância e Alegações

O artigo afirma que o ASAT aborda a lacuna crítica na detecção de OOD onde a segurança (controle de FPR) e a adaptabilidade (maximizar a TPR para OOD em evolução) são frequentemente mutuamente exclusivas nos métodos existentes.

Segurança: Ao desacoplar a otimização da função de pontuação da verificação de segurança do limiar, o ASAT garante que o sistema nunca comprometa a restrição de FPR, um requisito crucial para domínios de missão crítica.
Adaptabilidade: Ao aproveitar o feedback humano para atualizar a própria função de pontuação, o ASAT supera as limitações de modelos estáticos, permitindo que o sistema melhore suas capacidades de detecção à medida que encontra novos tipos de dados OOD.
Praticidade: A estrutura é projetada para implantação online, equilibrando eficiência computacional (atualizações periódicas) com garantias estatísticas rigorosas.

Os autores posicionam o ASAT como um passo em direção a sistemas de ML robustos e autoaperfeiçoáveis que podem operar com segurança em ambientes de mundo aberto onde as distribuições de dados não são estáticas.