Leveraging Human Feedback for Semantically-Relevant Skill Discovery

Resumo Técnico: Descoberta de Habilidades Semanticamente Relevantes Aproveitando o Feedback Humano

1. O Problema

A descoberta de habilidades (skill discovery) não supervisionada em Aprendizado por Reforço (RL) busca motivar agentes a aprenderem comportamentos diversos e úteis sem a necessidade de uma função de recompensa pré-definida. No entanto, abordagens puramente não supervisionadas frequentemente resultam em comportamentos indesejados, inseguros ou irrelevantes para o contexto humano.

Embora métodos recentes tentem mitigar isso usando preferências humanas, eles enfrentam dois obstáculos principais:

1. Ineficiência de Feedback: À medida que o número de tipos de habilidades aumenta (ex: correr, pular, andar), o processo de comparação par a par (preferência) torna-se extremamente lento e exige um volume massivo de interações.
2. Falta de Diversidade Semântica: Métodos baseados em preferência tendem a convergir para um conjunto limitado de comportamentos alinhados, mas falham em cobrir a amplitude de categorias semânticas distintas que um humano consideraria relevantes.

2. Metodologia Proposta: SRSD

Os autores introduzem o Semantically Relevant Skill Discovery (SRSD), um framework human-in-the-loop que substitui a comparação de preferências pela Rotulagem Semântica (Semantic Labelling).

Principais componentes da metodologia:

• Rotulagem Semântica: Em vez de comparar duas trajetórias, o humano atua como um classificador. Para cada segmento de trajetória, o humano indica se o comportamento é "irrelevante" ou, se for relevante, atribui uma categoria semântica específica (ex: "correr", "chutar a bola"). Isso aproveita a capacidade cognitiva humana de categorizar comportamentos de forma rápida e eficiente.
• Preditor Semântico ($p_\psi$): O sistema aprende um modelo paramétrico que prevê a probabilidade de uma trajetória pertencer a uma determinada categoria semântica com base nos rótulos fornecidos.
• Função de Recompensa de Relevância ($r_{rel}$): Uma nova recompensa intrínseca é introduzida para incentivar o agente a executar comportamentos que o preditor semântico classifique como pertencentes a categorias relevantes. A função de recompensa total do SRSD é uma combinação linear de:
  1. $r_{exp}$ (Exploração baseada em entropia de estado).
  2. $r_{div}$ (Diversidade de habilidades baseada em informação mútua).
  3. $r_{rel}$ (Relevância semântica baseada no feedback humano).
• Amostragem Ativa (Active Sampling): Para otimizar o orçamento de feedback humano, o algoritmo utiliza uma estratégia de amostragem que prioriza segmentos que o preditor ainda não classificou com confiança, garantindo que todas as categorias relevantes sejam exploradas de forma justa e evitando o excesso de exemplos irrelevantes.
• Crítico Distribucional (TQC): Para lidar com a complexidade e o ruído gerados pela combinação de múltiplas funções de recompensa, o SRSD utiliza Truncated Quantile Critics (TQC), que modela a incerteza aleatória (aleatória) das recompensas, mitigando o viés de superestimação.

3. Principais Contribuições

1. Mecanismo de Rotulagem Semântica: Um novo método de feedback que escala de forma muito mais eficiente que as preferências tradicionais conforme o número de categorias aumenta.
2. Framework SRSD: Uma arquitetura completa que integra diversidade, exploração e alinhamento semântico.
3. Mitigação de Incerteza: O uso de uma perspectiva de aprendizado de valor de distribuição para estabilizar o treinamento com múltiplas recompensas intrínsecas.
4. Prova Teórica: Demonstração de que a probabilidade de um feedback de rotulagem semântica ser informativo é $O(1)$, enquanto a de preferência cai para $O(1/|C|)$ à medida que o número de categorias $|C|$ cresce.

4. Resultados Experimentais

Os autores testaram o SRSD em ambientes de navegação 2D e em quatro domínios de locomoção do DeepMind Control Suite (Walker, Quadruped, Cheetah, Hopper).

• Desempenho Superior: O SRSD superou consistentemente os baselines (como CIC, ComSD e HaSD) em métricas de zero-shot, few-shot e fine-tuning.
• Eficiência de Feedback: Em testes de escalabilidade, o SRSD demonstrou uma precisão e recall significativamente maiores que o método de preferência (HaSD) quando o número de semânticas aumentou (de 2 para 16).
• Robustez: O método mostrou-se robusto mesmo com orçamentos de feedback limitados e contra "irracionalidades humanas" simuladas (erros, miopia ou esquecimento do anotador).
• Qualidade das Habilidades: Visualizações qualitativas confirmaram que o agente aprendeu uma gama diversificada de movimentos (ex: correr para frente, para trás, saltar, equilibrar-se) que são semanticamente distintos e úteis.

5. Significância

Este trabalho é significativo pois resolve um gargalo crítico no alinhamento de agentes de RL: a eficiência da interação humano-computador. Ao transformar o feedback de uma tarefa de "comparação subjetiva" para uma tarefa de "classificação cognitiva", o SRSD permite que agentes aprendam repertórios de comportamentos complexos, diversos e semanticamente úteis com um esforço humano mínimo, aproximando o aprendizado de máquina da forma como seres biológicos aprendem categorias de comportamento.