📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

Este artigo apresenta um framework de auditoria demonstrando que as alegações de sensibilidade ao risco de agentes de aprendizagem por reforço distributiva treinados são, em grande parte, artefatos estruturais do treinamento em vez de reflexos precisos da estocasticidade do ambiente, tornando seus conselhos de risco pouco informativos e frequentemente prejudiciais à tomada de decisão.

Autores originais: Hari Prasad

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hari Prasad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você construiu um robô gamer superinteligente que não apenas adivinha quantos pontos vai conseguir, mas na verdade prevê toda a gama de futuros possíveis. É como um meteorologista que não diz apenas "pode chover", mas desenha um mapa detalhado mostrando exatamente onde a chuva cairá, com que força ela atingirá e por onde o sol poderá aparecer. Este robô, chamado de agente de Aprendizado por Reforço Distribucional, é feito para ser o melhor amigo de quem gosta de assumir riscos. Ele foi projetado para detectar quando um movimento é uma aposta segura e entediante e outro é uma aposta selvagem, mesmo que ambos prometam a mesma pontuação média.

Mas aqui está a reviravolta: o "mapa de risco" do robô é, em grande parte, uma alucinação.

A Grande Auditoria

Os autores deste artigo decidiram brincar de detetive. Eles fizeram uma pergunta simples: Quando este robô afirma: "Ei, este movimento é arriscado e aquele é seguro", ele está realmente dizendo a verdade?

Para descobrir, eles não confiaram apenas na palavra do robô. Eles construíram uma "máquina da verdade". Eles tiraram instantâneos do mundo do jogo, congelaram o tempo e depois repetiram o mesmo momento milhares de vezes com diferentes sementes aleatórias (como rolar dados repetidamente) para ver o que realmente acontece. Eles compararam as previsões sofisticadas do robô contra essa montanha de dados do mundo real.

O Resultado Chocante: de 40% a 95% do "Risco" é Falso

A auditoria revelou um problema massivo. Nos jogos que eles testaram (MinAtar, uma versão mini dos clássicos jogos de arcade), de 40% a 95% das afirmações mais fortes do robô sobre risco eram completamente falsas.

Pense nisso da seguinte forma: o robô está parado em um corredor, apontando para duas portas. Ele grita: "A Porta A é segura! A Porta B é uma armadilha!" Mas quando os auditores chutaram as portas e passaram por elas 2.000 vezes, descobriram que ambas as portas levavam exatamente à mesma sala. O robô não estava vendo uma diferença; ele estava apenas inventando uma.

As afirmações "principais" são as piores: Quanto mais confiante o robô era sobre uma diferença de risco, mais provável era que ele estivesse mentindo. No topo de 2% de seus momentos de "maior risco", até 95% das afirmações foram refutadas.
Não é apenas um erro passageiro: Isso não é um bug que acontece quando o robô está cansado ou aprendendo. Os autores verificaram o robô em diferentes estágios de sua vida. As falsas afirmações de risco estavam totalmente formadas após apenas 500.000 passos de treinamento e permaneceram assim mesmo quando o robô se tornou duas vezes melhor no jogo.
Não é culpa do jogo: O robô não estava confuso por um jogo difícil. Quando os autores o testaram em um jogo especial, feito sob medida, onde os riscos eram reais e claramente definidos (um "RISKYGRID"), o robô acertou de 96 a 100% das vezes. Isso prova que o robô consegue ver o risco, mas nos jogos de arcade reais, ele está vendo fantasmas.

Por Que Isso Acontece?

O artigo descarta algumas coisas que as pessoas poderiam supor:

Não é porque o robô é "ruim" no jogo. Mesmo um robô quase perfeito, pré-treinado (treinado em 10 milhões de quadros de dados), caiu na mesma armadilha.
Não é porque o robô está "descalibrado" (como um termômetro que está sempre 5 graus errado). Se você tentasse "consertar" o robô recalibrando-o, a única maneira de fazê-lo passar no teste era fazendo-o não dizer nada. O robô não está apenas ligeiramente errado; ele é não informativo. É como uma bússola que gira descontroladamente; você não pode apenas "ajustá-la" para apontar para o Norte porque ela não possui senso magnético para começar.
Não é falta de dados. O robô viu milhares de exemplos, mas o "risco" que ele aprendeu era um artefato estrutural de como ele foi treinado, não uma característica do jogo em si.

O Perigo: Agir sobre as Mentiras

Aqui está a parte assustadora. Se você fosse um jogador humano usando o conselho deste robô para tomar decisões, você estaria em apuros.

Em um jogo (Breakout), o conselho do robô foi realmente útil.
Em outro (Seaquest), seguir seu conselho tornou você três vezes pior do que simplesmente ignorar o risco inteiramente.
Em um terceiro (Asterix), era basicamente um cara ou coroa.

O pior de tudo? Não há como saber qual jogo é qual. O robô te dá uma "pontuação de risco", mas essa pontuação não diz nada sobre se o conselho é um salva-vidas ou uma sentença de morte. É como ter um aplicativo de clima que às vezes prevê um tornado e às vezes prevê um dia ensolarado, mas o aplicativo não te dá nenhuma pista sobre qual previsão é real.

A Conclusão

O artigo conclui que, para os robôs que eles testaram, o "risco" que eles veem é um artefato de treinamento — um fantasma na máquina. É um padrão que o robô aprendeu a desenhar por causa de sua matemática, não porque o mundo é realmente perigoso dessa forma.

Os autores são muito claros: Não confie nos mapas de risco do robô puramente pelo que eles parecem. Se você quiser usar esses agentes para tarefas críticas de segurança (como carros autônomos), você precisa auditá-los primeiro. Até lá, o "risco" do robô é apenas uma mentira muito convincente e muito confiante.

Resumo Técnico: Auditando as Alegações de Risco do Aprendizado por Reforço Distribucional

Declaração do Problema

O Aprendizado por Reforço (RL) Distribucional substitui funções de valor escalares por distribuições completas de retorno ( $Z^\pi(s, a)$ ). Embora essas distribuições tenham impulsionado o desempenho de estado da arte e sejam cada vez mais utilizadas para interpretabilidade, controle sensível ao risco (ex: via Valor em Risco Condicional, CVaR) e monitoramento de segurança, elas são frequentemente lidas em seu "valor facial". A premissa central é que, se uma distribuição aprendida para uma ação difere em forma de outra (ex: prometer um retorno pequeno e seguro versus um risco de igual média), o ambiente realmente contém essa estrutura de risco específica.

No entanto, o trabalho teórico sugere que essas distribuições não precisam coincidir com a distribuição de retorno real (ex: o aprendizado de Quantis de Diferença Temporal converge para pontos fixos não únicos). Além disso, métodos distribucionais costumam melhorar o desempenho mesmo quando apenas a média é utilizada, sugerindo que as distribuições aprendidas podem ser representações úteis sem serem factualmente precisas. A lacuna crítica identificada é a falta de medição direta: As alegações de risco específicas feitas por um agente distribucional treinado são verdadeiras? Métricas de divergência agregadas falham em distinguir erros que importam para a tomada de decisão daqueles que não importam. Este artigo aborda a questão de saber se o "risco" refletido na "cabeça" de um agente treinado é um recurso genuíno do ambiente ou um artefato de treinamento.

Metodologia

Os autores propõem um framework de auditoria relevante para a decisão, combinando uma métrica de triagem, geração de verdade fundamental (ground truth) e um suporte estatístico para evitar conclusões falsas.

1. Métrica de Auditoria Relevante para a Decisão

A auditoria foca no gap de excesso de Wasserstein ( $\Delta_x(s)$ ) entre as duas melhores ações em um determinado estado $s$ , classificadas por seus retornos médios.
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
Onde $W_1$ é a distância 1-Wasserstein entre as representações de quantis das duas ações, e $\mu$ representa seus retornos médios.

Significância: $\Delta_x(s) > 0$ ocorre se, e somente se, uma ação não domina estocasticamente a outra de primeira ordem. Esta é a condição precisa sob a qual uma política sensível ao risco desviaria de uma política gulosa pela média. Assim, $\Delta_x$ isola alegações que carregam conteúdo de decisão.

2. Verdade Fundamental via Monte Carlo de Snapshot-Restart

Para verificar as alegações, os autores geram a verdade fundamental através de:

Coleta de estados únicos do agente treinado.
Armazenamento de cópias profundas (snapshots) do ambiente nesses estados.
Realização de 2.000 rollouts por ação de cada snapshot, forçando a ação específica e seguindo a política gulosa até a terminação.
Crucialmente, cada cópia reiniciada é re-semeada independentemente para garantir que os rollouts capturem a estocasticidade real do ambiente (incerteza aleatória) em vez de apenas reproduzir futuros idênticos.

3. Suporte Estatístico

Para evitar que a auditoria fabrique conclusões falsas, os autores utilizam:

Nulos de Permutação: Estabelecendo uma linha de base para o ruído de estimativa ao dividir os rollouts de uma única ação.
Refutação por Bootstrap: Uma alegação é refutada se o $\Delta_x(s)$ aprendido exceder o percentil 97,5 da distribuição de excesso de Monte Carlo (MC).
Controle de FDR: Uso do procedimento Benjamini-Hochberg para controlar a Taxa de Descoberta Falsa (False Discovery Rate) entre os estados.
Índice de Aliasing: Uma métrica para sinalizar estados onde a observabilidade parcial pode ocultar o estado real do ambiente.

4. Abordagem de Armadilhas Silenciosas

O artigo documenta dois modos específicos de falha em avaliações baseadas em reinicialização que produziram auditorias convincentes, porém erradas:

P1 (Clonagem de RNG): Usar deepcopy em ambientes frequentemente clona o gerador de números aleatórios interno, fazendo com que rollouts "aleatórios" reproduzam futuros idênticos. Isso cria uma falsa sensação de determinismo.
P2 (Piso de Ruído de Wasserstein Empírico): Para amostras finitas de uma mesma distribuição, a distância de Wasserstein empírica converge para um valor não nulo ( $O(n^{-1/2})$ ). O limiar ingênuo pode "confirmar" puro ruído como uma troca de risco. A auditoria calibra contra nulos por estado para considerar isso.

Principais Resultados

1. As Alegações Mais Fortes São, em sua Maioria, Falsas

Em QR-DQN, C51 e IQN no MinAtar (Breakout, Seaquest, Asterix) e em um QR-DQN pré-treinado do SB3-zoo em Atari completo:

Taxas de Refutação: Nos 2% superiores dos próprios rankings de risco do agente (os estados que um praticante sinalizaria primeiro), 40–95% das alegadas trocas de risco são refutadas com 95% de confiança.
Zero Confirmações: Em 735 estados auditados no MinAtar, essencialmente nenhuma alegação é confirmável após a correção de FDR.
Indistinguibilidade Cega à Verdade: A colocação das alegações mais fortes é estatisticamente indistinguível de uma cabeça "cega à verdade" (onde as magnitudes das alegações são preservadas, mas atribuídas aleatoriamente aos estados). A correlação entre o excesso aprendido e o excesso real é próxima de zero ( $r \approx 0,02$ ).

2. Natureza Estrutural do Artefato

Formação Precoce: O artefato de sobre-alegação está totalmente formado com 500k passos de treinamento e persiste mesmo enquanto a pontuação do agente dobra.
Idiosincrasia de Seed: As alegações falsas específicas são únicas para cada semente aleatória e não possuem correlação com o desempenho final.
Estados Condenados: Em estados onde a bola é irremediavelmente perdida (cada futuro resulta no mesmo retorno), a cabeça do agente ainda reporta distribuições amplas e cruzadas com alto $\Delta_x$ .

3. Impacto no Nível de Decisão

Agir sobre o conselho de CVaR do agente em seus estados mais sinalizados produz resultados mistos e imprevisíveis:

Breakout: O conselho é genuinamente informativo (81% de escolha mais segura vs. 44% para a média).
Seaquest: O conselho é anti-preditivo, escolhendo a ação verdadeiramente mais segura apenas 24–34% das vezes (pior que o acaso), triplicando o arrependimento comparado a ignorar o risco.
Asterix: O conselho é efetivamente um cara ou coroa.
Nenhum sinal observável existe para dizer ao praticante em qual regime ele se encontra.

4. Falha de Reparos

Remédios padrão não corrigem o problema:

Treinamento Sensível ao Risco: Treinar um agente para ser guloso por CVaR resulta na mesma assinatura de sobre-alegação.
Ensemble: A média das funções de quantis atenua o artefato, mas não calibra as principais alegações.
Recalibração: A recalibração passa na auditoria apenas ao anular as alegações (colapsando-as para o ruído), provando que a cabeça é não informativa, e não meramente mal calibrada.

5. Controles Positivos

Para garantir que a própria auditoria não esteja quebrada, os autores a testaram no RISKYGRID, um ambiente com trocas de risco conhecidas.

A auditoria confirmou corretamente 96–100% das alegações reais com alta correlação ( $r \approx 0,92$ ).
Isso confirma que a auditoria mede a incapacidade dos agentes de capturar o risco, e não uma falha na metodologia de auditoria ou nos pequenos efeitos de tamanho em MinAtar.

Significância e Alegações

O artigo conclui que, para os agentes testados (QR-DQN, C51, IQN), o "risco" aprendido reflete um artefato estrutural de treinamento em vez da estocasticidade do ambiente.

A "Maldição do Vencedor" do Risco: Os estados onde o agente é mais confiante sobre uma troca de risco (maior $\Delta_x$ ) são precisamente onde as alegações são menos confiáveis.
Cabeças Não Informativas: As cabeças distribucionais não são apenas mal calibradas; elas são não informativas em relação à estrutura de risco. Elas confundem incerteza aleatória e epistêmica de uma forma que produz sinais de risco espúrios.
Implicações para a Prática:
1. Interpretabilidade: Distribuições de retorno visualizadas não devem ser confiáveis sem validação de verdade fundamental.
2. Segurança e Controle: Políticas sensíveis ao risco derivadas de cabeças de quantis puras podem agir sobre riscos espúrios em estados críticos, potencialmente levando a resultados piores do que as bases de média.
3. Trabalho Futuro: Qualquer método que alegue estimar incerteza ou risco deve ser avaliado contra uma auditoria de nível de decisão. Os autores disponibilizam um kit de ferramentas e um padrão: uma cabeça que passa na auditoria deve confirmar suas principais alegações.

Os autores enfatizam a modéstia: suas alegações cobrem algoritmos e ambientes específicos (MinAtar, sementes específicas de Atari). Eles reconhecem que outras variantes calibradas ou agentes treinados sob condições diferentes (ex: ações pegajosas em escala total) ainda precisam ser testados, mas a evidência atual sugere que o "risco" no RL distribucional padrão é, em grande parte, um artefato do processo de aprendizado.