AutoQD: Automatic Discovery of Diverse Behaviors with Quality-Diversity Optimization

Each language version is independently generated for its own context, not a direct translation.

Imagine que você é um treinador de um time de robôs. O seu objetivo não é apenas encontrar um robô que corra o mais rápido possível, mas sim descobrir uma galeria inteira de robôs, cada um com um estilo único de movimento: alguns correm como zebras, outros pulam como cangurus, alguns deslizam como cobras e outros dançam.

O problema é que, até agora, os cientistas precisavam desenhar à mão um "manual de instruções" para dizer ao computador o que significa "ser diferente". Eles diziam: "Olhe para a frequência com que os pés tocam o chão" ou "Meça o ângulo do joelho". Isso é como tentar descrever a música de uma banda apenas olhando para o número de cordas dos instrumentos. É limitado e exige que você saiba muito sobre o assunto antes de começar.

Aqui entra o AutoQD, a nova técnica apresentada neste artigo.

A Grande Ideia: O "Mapa de Pegadas"

Em vez de pedir ao computador para medir coisas específicas (como o joelho), o AutoQD usa uma ideia inteligente chamada Medida de Ocupação.

Pense nisso assim:
Imagine que cada robô deixa um rastro de pegadas no chão enquanto anda.

Um robô que anda devagar deixa pegadas muito juntas.
Um robô que pula deixa pegadas distantes.
Um robô que desliza deixa um rastro contínuo.

O AutoQD não se importa com como o robô faz o movimento (se usa o joelho ou o cotovelo). Ele olha apenas para o mapa completo das pegadas (onde o robô esteve e o que fez). Se dois robôs deixam mapas de pegadas muito diferentes, eles são comportamentalmente diferentes.

Como o AutoQD Funciona (A Metáfora do Tradutor)

O AutoQD funciona em três etapas simples, como se fosse um tradutor mágico:

O Tradutor (Embedding): O computador pega o mapa de pegadas complexo de cada robô e o transforma em um "código" matemático curto. É como pegar uma longa história e transformá-la em uma única frase que resume a essência da história. O AutoQD faz isso usando uma técnica chamada "Recursos de Fourier Aleatórios" (que soa complicado, mas é basicamente um filtro que destaca as diferenças importantes).
O Organizador (Redução de Dimensão): Às vezes, esses códigos são muito longos. O AutoQD usa uma técnica chamada "PCA Ponderada" para comprimir esse código em apenas algumas dimensões (como reduzir um filme 3D para um desenho 2D, mas mantendo a história principal). Isso cria um "rótulo" simples para cada robô.
O Explorador (CMA-MAE): Agora, o computador usa esses rótulos para preencher um "arquivo" (uma prateleira virtual). Ele tenta encher cada espaço da prateleira com o melhor robô possível para aquele estilo específico. Se ele já tem um robô que "pula devagar", ele procura um novo que "pula rápido" ou "pula de lado".

Por que isso é incrível?

Sem Manual de Instruções: Você não precisa dizer ao computador o que é "diverso". O computador descobre sozinho o que é diferente baseado no que os robôs realmente fazem.
Descobertas Surpreendentes: Como não estamos limitados a medir apenas "pés" ou "joelhos", o AutoQD pode descobrir comportamentos estranhos e geniais que um humano nem pensaria em procurar.
- Exemplo: Em um dos testes, o AutoQD descobriu que um robô podia se mover deslizando no chão com movimentos sutis, algo que um humano provavelmente não teria pensado em medir manualmente.
Resiliência: Se você tiver um time de robôs com estilos muito diferentes, e o chão ficar escorregadio (mudança de atrito), é muito provável que pelo menos um dos seus robôs consiga se adaptar e continuar andando. Ter diversidade é como ter um kit de ferramentas completo em vez de apenas um martelo.

O Resultado

Os testes mostraram que o AutoQD encontrou robôs mais diversos e, na maioria dos casos, mais inteligentes do que os métodos antigos que exigiam regras manuais. Ele conseguiu criar populações de robôs que não apenas correm bem, mas que têm uma "personalidade" única de movimento.

Em resumo: O AutoQD é como um explorador que não usa um mapa pré-desenhado. Em vez disso, ele observa o terreno, descobre sozinho quais caminhos são diferentes e mapeia a paisagem inteira, garantindo que você tenha a melhor opção para qualquer situação que surja no futuro.

Each language version is independently generated for its own context, not a direct translation.

Título: AutoQD: Descoberta Automática de Comportamentos Diversos com Otimização de Qualidade-Diversidade

1. O Problema

Os algoritmos de Otimização de Qualidade-Diversidade (QD) têm tido sucesso em descobrir coleções de soluções que são simultaneamente de alto desempenho e comportamentalmente diversas. No entanto, uma limitação fundamental desses métodos, especialmente em tarefas de tomada de decisão sequencial (Reinforcement Learning - RL), é a dependência de descritores de comportamento (BDs) manualmente criados (hand-crafted).

Desafio: Criar BDs requer conhecimento profundo do domínio (ex.: definir padrões de contato de pés para robôs bípedes). À medida que a complexidade da tarefa aumenta, definir essas métricas torna-se difícil e subjetivo.
Consequência: Os BDs manuais restringem a exploração a variações ao longo de dimensões pré-definidas, podendo ignorar variações comportamentais interessantes ou inesperadas que não se encaixam nessas métricas.
Objetivo: Desenvolver uma abordagem teoricamente fundamentada para gerar automaticamente descritores de comportamento que capturem a diversidade real das políticas sem necessidade de intervenção humana ou conhecimento específico do domínio.

2. Metodologia (AutoQD)

O AutoQD propõe uma abordagem baseada na equivalência entre políticas e medidas de ocupação (occupancy measures) em Processos de Decisão de Markov (MDPs). A ideia central é que a medida de ocupação (a frequência de visitação descontada de pares estado-ação) caracteriza completamente o comportamento de uma política.

O método opera em três etapas principais:

A. Embedding de Políticas via Características de Fourier Aleatórias (RFF)

Para quantificar a diferença entre comportamentos, o AutoQD utiliza a Divergência de Máxima Média (MMD) entre as medidas de ocupação das políticas.

Como o kernel Gaussiano (usado no MMD) corresponde a um espaço de características de dimensão infinita, o método aproxima esse espaço usando Características de Fourier Aleatórias (Random Fourier Features - RFF).
Para uma política $\pi$ , é coletado um conjunto de trajetórias. A medida de ocupação é estimada e mapeada para um vetor de dimensão finita $D$ ( $\psi_\pi$ ) através da média empírica das características RFF dos pares estado-ação visitados.
Teorema 1: O artigo prova teoricamente que a distância euclidiana entre esses embeddings ( $\|\psi_{\pi_1} - \psi_{\pi_2}\|$ ) converge para a verdadeira distância MMD entre as medidas de ocupação à medida que o número de trajetórias amostradas ( $n$ ) e a dimensão do embedding ( $D$ ) aumentam.

B. Redução de Dimensionalidade e Refinamento Iterativo

Embora o embedding de alta dimensão capture bem as diferenças, algoritmos QD (como CMA-MAE) exigem descritores de baixa dimensão para discretizar o espaço de comportamento em um arquivo (archive).

cwPCA (Calibrated Weighted PCA): O AutoQD projeta os embeddings de alta dimensão em um espaço de baixa dimensão ( $k \ll D$ $k ≪ D$ ) usando uma transformação afim aprendida.
- Weighted: A PCA é ponderada pelo fitness (retorno) das políticas, dando mais peso às políticas de alto desempenho para que os descritores capturem variações comportamentais significativas entre soluções boas.
- Calibrated: Os eixos são escalonados para garantir que a maioria das projeções caia no intervalo $[-1, 1]$ , garantindo limites estáveis para o arquivo do algoritmo QD.
Algoritmo Iterativo: O processo alterna entre:
1. Otimização QD usando os descritores atuais para descobrir novas políticas.
2. Refinamento dos descritores (re-treinamento da cwPCA) com base no arquivo expandido de políticas.

C. Integração com CMA-MAE

O AutoQD utiliza o CMA-MAE (Covariance Matrix Adaptation Map-Annealing) como o motor de otimização. O CMA-MAE amostra políticas, avalia seu desempenho e mapeia-nas no arquivo baseado nos descritores gerados automaticamente pelo AutoQD.

3. Contribuições Principais

Método de Embedding Eficiente: Desenvolvimento de uma técnica para mapear medidas de ocupação de políticas em vetores de dimensão finita usando RFF, onde as distâncias aproximam a MMD.
Fundamentação Teórica: Prova formal (Teorema 1) de que as distâncias entre os embeddings convergem para as distâncias MMD verdadeiras com alta probabilidade, garantindo que a geometria do espaço de comportamento seja preservada.
Algoritmo Iterativo: Proposição de um algoritmo que alterna entre otimização QD e refinamento de descritores, permitindo a descoberta de comportamentos sem especificação manual.
Validação Empírica: Demonstração de que o AutoQD descobre políticas diversas e de alto desempenho em tarefas de controle contínuo, superando ou competindo com métodos que usam descritores manuais ou aprendizado não supervisionado (como autoencoders).

4. Resultados Experimentais

O AutoQD foi avaliado em seis tarefas de controle contínuo do Gymnasium (incluindo MuJoCo: Ant, HalfCheetah, Hopper, Swimmer, Walker2d, BipedalWalker).

Métricas: Foram utilizados o Ground-Truth QD Score (qualidade e diversidade em um espaço de descritores manuais), Vendi Score (diversidade baseada em similaridade) e Quality-Weighted Vendi Score (qVS).
Desempenho Geral: O AutoQD superou consistentemente a maioria das baselines (Aurora, LSTM-Aurora, DvD-ES, SMERL) na maioria dos ambientes, alcançando os melhores escores de QD e diversidade.
- Exceções: Em HalfCheetah e Walker2d, o AutoQD encontrou diversidade, mas algumas políticas tinham desempenho ligeiramente inferior ao da RegularQD (que usa descritores manuais). A análise qualitativa revelou que o AutoQD descobriu comportamentos inovadores (ex.: "deslizar" no HalfCheetah) que, embora diversos, eram menos eficientes em termos de recompensa imediata.
Adaptabilidade: Em testes de adaptação a mudanças dinâmicas (alteração de atrito e massa no BipedalWalker), a população gerada pelo AutoQD demonstrou maior robustez. O método encontrou um número significativamente maior de políticas que mantinham alto desempenho sob condições alteradas em comparação com as baselines.
Análise de Estabilidade: Os descritores aprendidos pelo AutoQD mostraram-se altamente estáveis (baixa variância entre trajetórias da mesma política), permitindo estimativas precisas com poucas amostras.

5. Significado e Impacto

O AutoQD representa um avanço significativo na Aprendizagem por Reforço Não Supervisionada e na Otimização de Qualidade-Diversidade:

Autonomia: Remove a necessidade de conhecimento de domínio para definir o que constitui "diversidade", permitindo a descoberta de comportamentos abertos (open-ended) e inesperados.
Robustez: A capacidade de gerar populações diversas sem viés humano prévio resulta em sistemas mais resilientes a mudanças no ambiente, um requisito crucial para robótica no mundo real.
Generalidade: A abordagem é compatível com qualquer algoritmo QD padrão e pode ser aplicada a diversos domínios de decisão sequencial, abrindo caminho para agentes autônomos capazes de explorar e aprender continuamente sem supervisão humana detalhada.

Em suma, o AutoQD substitui a engenharia manual de métricas de comportamento por uma representação teórica e aprendida das políticas, democratizando o uso de algoritmos QD em problemas complexos onde a definição de diversidade é difícil ou impossível de especificar a priori.