Resumo Técnico: ORCAID

Declaração do Problema

O Aprendizado por Reforço Explicável (XRL - Explainable Reinforcement Learning) enfrenta desafios significativos quando aplicado a agentes que operam em ambientes com espaços de ação contínuos e espaços de estado mistos (contínuos-discretos). Embora o aprendizado por reforço profundo (Deep RL) tenha alcançado desempenho sobre-humano em domínios complexos, as políticas resultantes são frequentemente "caixas pretas" opacas, o que dificulta a verificação e a confiança em aplicações críticas de segurança. Os métodos de XRL existentes, como Árvores de Decisão (DTs) padrão ou algoritmos de extração de regras, geralmente têm dificuldades nesses cenários. Eles costumam depender de divisões alinhadas aos eixos (hiperplanos paralelos aos eixos das características), o que exige um grande número de regras para aproximar fronteiras complexas e não ortogonais, levando a modelos inflados e menos interpretáveis. Além além disso, muitas abordagens existentes são limitadas a ações discretas ou falham em fornecer substitutos (surrogates) compactos e de alta fidelidade para tarefas de controle contínuo.

Metodologia: ORCAID

Os autores propõem o ORCAID (Oblique Rule-Based Continuous-Action Interpretation for Deep RL Policies), um framework de três estágios projetado para extrair modelos substitutos baseados em regras interpretáveis a partir de políticas de Deep RL. O método opera em espaços de estado mistos (contínuos-discretos) e espaços de ação contínuos.

1. Coleta e Aumento de Dados

O ORCAID começa amostrando trajetórias da interação entre a política de RL original e o ambiente. Para garantir uma representação uniforme do espaço de estados e mitigar o overfitting em regiões frequentemente visitadas, os estados coletados são agrupados (usando K-means). Novos pontos de dados são então gerados através do reamostragem de centroides de clusters com ruído Gaussiano adicionado às características contínuas. Esta estratégia reduz os requisitos de dados enquanto cobre regiões relevantes do espaço de estados.

2. Aprendizado de Árvore de Decisão Oblíqua

O núcleo do ORCAID é a construção de uma árvore de decisão oblíqua, onde as condições de divisão são hiperplanos definidos por combinações lineares de características ($w \cdot x \leq b$), em vez de limiares de uma única característica.

• Busca de Divisão (Split Search): O algoritmo emprega uma busca de três estágios para divisões ideais:
  1. Redução de Dimensionalidade: PCA é aplicado ao espaço de estados para estabilidade numérica.
  2. Inicialização Aleatória: Uma inicialização eficiente de hiperplano aleatório (resolvendo um sistema linear) fornece um "warm start".
  3. Refinamento Local: A evolução diferencial otimiza os parâmetros do hiperplano para minimizar o Erro Quadrático Médio (MSE) ponderado dos nós filhos resultantes.
• Modelagem de Folhas: Diferente das DTs padrão que produzem valores constantes, cada folha no ORCAID ajusta um modelo de regressão linear separado para cada dimensão de ação. Isso permite que o substituto produza ações contínuas diretamente.
• Poda de Características (Feature Pruning): A eliminação reversa (backward elimination) é aplicada dentro das folhas para remover características irrelevantes, reduzindo ainda mais a complexidade do modelo.

3. Simplificação e Fusão

Para produzir um conjunto conciso de regras, o ORCAID funde regiões adjacentes (folhas) da árvore de decisão.

• Fusão de Regiões: Regiões simples adjacentes são avaliadas para fusão com base em limites de erro. Se a fusão de duas regiões não aumentar significativamente o MSE global ou local, elas são combinadas.
• Simplificação Lógica: As regiões fundidas, originalmente definidas como uma Forma Normal Disjuntiva (DNF) de condições, são simplificadas usando o método de Quine-McCluskey (QM) para minimizar o número de condições lógicas.
• Loop DAgger: Para lidar com o desvio do modelo (model drift) e melhorar a fidelidade, o processo é incorporado em um loop de Agregação de Dataset (DAgger). O modelo substituto atual é executado no ambiente, e os estados onde suas ações divergem significativamente da política especialista (RL original) são coletados, re-agrupados e usados para retreinar o modelo.

Principais Contribuições

1. Framework ORCAID: A introdução do primeiro método de XRL capaz de extrair modelos substitutos baseados em regras para políticas de Deep RL com ações contínuas sobre espaços de estado mistos (contínuos-discretos) usando decisões oblíquas.
2. Algoritmo de Árvore Oblíqua Eficiente: Um algoritmo de treinamento inovador apresentando uma busca de divisão de três estágios (inicialização aleatória, refinamento local via evolução diferencial e eliminação reversa) que particiona eficientemente o espaço de estados com hiperplanos e ajusta modelos lineares locais.
3. Capacidade de Ação e Melhoria: A demonstração de que as regras extraídas podem ser usadas para identificar fraquezas na política de RL. Ao espelhar regras através de eixos simétricos e aplicá-las, o método pode melhorar o desempenho da política original, uma capacidade validada através de uma adaptação contínua da abordagem LEGIBLE.
4. Avaliação Abrangente: Avaliação empírica extensa em nove tarefas de controle (incluindo Mountain Car, Hopper e Half Cheetah) comparando o ORCAID contra Árvores de Decisão padrão (CART), Cubist e RuleFit.

Resultados Experimentais

Os autores avaliaram o ORCAID em nove problemas de controle, medindo fidelidade (MSE contra a política original), desempenho (razão de recompensa cumulativa), complexidade (tamanho do modelo/contagem de parâmetros) e interpretabilidade.

• Desempenho e Fidelidade: O ORCAID alcançou consistentemente alta fidelidade (baixo MSE) e forte capacidade de resolução de tarefas, frequentemente superando ou igualando baselines como Cubist e RuleFit. Em muitos ambientes, o ORCAID manteve uma razão de recompensa próxima a 100% da política de RL original.
• Complexidade: O ORCAID produziu modelos significativamente menores do que as Árvores de Decisão padrão e o RuleFit. Embora o Cubist tenha mostrado desempenho competitivo, os modelos do ORCAID foram consistentemente mais compactos (menos parâmetros e regras) devido à eficiência das divisões oblíquas em capturar fronteiras complexas.
• Melhoria de Política: Em experimentos de melhoria de política, o teste baseado em ORCAID identificou fraquezas em políticas de RL de forma mais consistente do que outros métodos, frequentemente encontrando melhorias com árvores muito rasas (profundidade 1), sugerindo que mesmo aproximações grosseiras podem revelar comportamentos subótimos.
• Interpretabilidade: Além das métricas quantitativas, os autores empregaram um framework de LLM-as-a-Judge (LLM como Juiz) para avaliar a explicabilidade. Seis LLMs classificaram os modelos ORCAID acima das Árvores de Decisão padrão e do Cubist em critérios como coerência física, interpretabilidade global e simplicidade. Os juízes observaram que as regiões do ORCAID frequentemente correspondiam a modos operacionais físicos significativos, enquanto outros modelos produziam partições arbitrárias e fragmentadas.

Significância e Alegações

O artigo afirma que o ORCAID aborda uma lacuna crítica em XRL ao fornecer um método que é simultaneamente interpretável e eficaz para tarefas de controle contínuo. Os autores enfatizam que sua abordagem:

• Preenche a lacuna entre o alto desempenho do Deep RL e a necessidade de modelos simbólicos verificáveis por humanos.
• Demonstra capacidade de ação, mostrando que as regras extraídas não são meramente descritivas, mas podem ser usadas para melhorar ativamente a política de RL subjacente.
• Oferece interpretabilidade superior em comparação com árvores de decisão padrão e conjuntos de regras, particularmente em termos de tamanho do modelo e o significado semântico das partições (ex: alinhamento com regimes físicos).

Os autores concluem que, embora sua avaliação atual abranja tarefas de até 17 dimensões de estado, o método fornece uma base robusta para o implante de agentes de RL transparentes em domínios críticos de segurança. Eles reconhecem limitações quanto a políticas estocásticas e a dependência de acesso por consulta (query access) para o DAgger, sugerindo trabalhos futuros para estender o método para configurações estocásticas e integrar modelos de ambiente para verificação formal.