Resumo Técnico: Mind the Context – Aprendizado Contínuo de Ações de Robôs Socialmente Apropriadas via Desemaranhamento Ambiental–Social

1. Formulação do Problema

O artigo aborda o desafio de permitir que robôs sociais operem em diversos ambientes internos em mudança (ex: casas, escritórios, salas de reunião) onde a apropriação social é dependente do contexto. Uma ação específica (ex: iniciar uma conversa ou limpar) pode ser apropriada em um cenário (uma sala de estar movimentada), mas disruptiva em outro (uma sala de reunião), mesmo que a configuração social das pessoas pareça semelhante.

O problema central é formulado como Aprendizado Contínuo de Domínio-Incremental (DIL). Diferente dos cenários de tarefa-incremental, onde a tarefa muda mas o ambiente é estático, o DIL exige que o robô encontre sequencialmente novos domínios (ambientes) com distribuições de dados distintas. O robô deve aprender a prever a adequação de múltiplas ações (ex: aspirar, servir, carregar objetos) nesses novos domínios enquanto retém o conhecimento de domínios anteriores, mitigando o esquecimento catastrófico.

Uma lacuna crítica identificada em trabalhos anteriores é que os métodos existentes para aprender ações socialmente apropriadas tratam a cena como uma entrada monolítica, misturando implicitamente pistas ambientais (layout, mobília, abertura) e pistas sociais (posições de agentes, configurações de grupos). Os autores argumentam que, para o aprendizado incremental de domínio, separar explicitamente essas pistas é necessário para reduzir correlações espúrias e melhorar a transferência de conhecimento.

2. Metodologia: O Framework EDD

Os autores propõem o framework Explicit Disentanglement Dual-Branch (EDD), que consiste em três componentes principais:

A. Decomposição de Contexto Semântico

Para separar explicitamente as informações ambientais e sociais, os autores utilizam Segmentação Panóptica para decompor cada imagem da cena $x$ em duas visões distintas:

1. Visão Ambiental ($x_E$): Esta visão destaca o plano de fundo e o layout espacial enquanto oculta os agentes sociais. É construída mascarando os agentes detectados e substituindo-os por uma cor fixa, além de introduzir máscaras de caixas delimitadoras ("decoy") amostradas de um pool de domínios para obscurecer ainda mais as localizações dos agentes. Isso força a rede a depender de affordances (potencialidades de ação) e restrições espaciais.
2. Visão Social ($x_S$): Esta visão isola os agentes sociais (humanos, animais de estimação, outros robôs) contra um fundo uniforme. É construída usando as máscaras de silhueta dos agentes, preservando suas posições relativas e agrupamentos, enquanto remove o contexto ambiental.

B. Rede de Dupla Ramificação (Dual-Branch)

As visões decompostas são processadas por uma Arquitetura de Dupla Ramificação:

• Codificador Ambiental ($\phi_E$): Processa $x_E$ para extrair características relacionadas ao cenário (ex: tipo de sala, densidade de móveis).
• Codificador Social ($\phi_S$): Processa $x_S$ para extrair características relacionadas às configurações dos agentes.
• Fusão e Regressão: Os vetores de características de ambas as ramificações são concatenados e passados através de uma Cabeça de Regressão compartilhada ($g$) para prever um vetor de $K$ dimensões de pontuações de adequação para $K$ ações possíveis. Isso permite que o modelo aprenda como os fatores ambientais e sociais influenciam conjuntamente a adequação da ação.

C. Aprendizado Contínuo com Replay

Para lidar com a chegada sequencial de domínios sem acesso a dados passados, o EDD utiliza uma estratégia de Replay de Experiência (Experience Replay):

• Um buffer de memória armazena um número fixo de amostras de cada domínio encontrado.
• Durante o treinamento em um novo domínio, o modelo é treinado em uma mistura de dados do domínio atual e amostras reproduzidas do buffer.
• Esta abordagem aproxima o treinamento conjunto em todos os domínios, minimizando a perda cumulativa e mitigando o esquecimento catastrófico.

3. Principais Contribuições

1. Desemaranhamento Explícito: O artigo introduz uma abordagem inovadora para CL de domínio-incremental para robótica social ao separar explicitamente as pistas ambientais e sociais no nível da entrada, usando segmentação panóptica, em vez de depender do aprendizado implícito de características de imagens de cena completa.
2. Framework EDD: A proposta do framework Explicit Disentanglement Dual-Branch, que combina decomposição semântica com uma arquitetura de dupla ramificação e ensaio baseado em replay.
3. Avaliação Abrangente: Os autores avaliam o framework em seis domínios internos (Casa e cinco variantes de escritório) e realizam estudos de ablação sobre:
   • Estratégias de Desemaranhamento: Comparando máscaras de caixa delimitadora (bounding-box), silhuetas, close-ups espaciais e a ausência de decomposição.
   • Ordenação de Domínios: Testando várias sequências (baseadas em complexidade, contraste) para avaliar a sensibilidade à ordem de exposição ao domínio.
   • Baselines: Comparando contra métodos de CL específicos para robótica, modelos de visão de domínio-incremental e modelos de Linguagem-Visão (VLMs) zero-shot.

4. Resultados Experimentais

Os experimentos foram conduzidos em um conjunto de dados mesclado de OfficeDB e MannersDB+, focando no robô Pepper em nove categorias de ação.

• Desempenho vs. Baselines (RQ1): O EDD superou todos os baselines, incluindo métodos de CL para robótica de última geração (FedLGR), modelos de visão de domínio-incremental (DUCA, DARE++) e VLMs zero-shot (Qwen, LLaVA, DeepSeek). O EDD alcançou o menor Erro Quadrático Médio (RMSE: 0.783) e os maiores coeficientes de correlação de Pearson (PCC: 0.552) e Concordância (CCC: 0.375) com avaliações humanas. Notavelmente, os VLMs mostraram RMSE competitivos, mas falharam em correlacionar bem com julgamentos humanos, sugerindo que modelos de fundação sozinhos são insuficientes para esta tarefa específica.
• Estratégias de Desemaranhamento (RQ2): A decomposição por Caixa Delimitadora (Bounding-Box) (o método proposto) rendeu o melhor desempenho geral e o menor esquecimento (Transferência Retroativa, BWT). Embora o controle "Sem Decomposição" tenha performado de forma semelhante em métricas de erro, a separação explícita proporcionou um melhor alinhamento com os julgamentos humanos (maior PCC/CCC). A estratégia "Robot Close-up" mostrou a melhor retenção (menor BWT), mas menor correlação, sugerindo que ela preserva bem as características específicas do domínio, mas pode perder o contexto social mais amplo.
• Ordenação de Domínios (RQ3): A ordem de exposição aos domínios teve um efeito mensurável, porém modesto, no desempenho. Embora um currículo de "aumento de complexidade" tenha mostrado um desempenho ligeiramente melhor no domínio Home, o impacto geral no esquecimento e na precisão geral foi limitado em comparação com as escolhas arquiteturais. O modelo permaneceu relativamente robusto entre diferentes estratégias de sequenciamento.

5. Significância e Alegações

O artigo alega que desemaranhar explicitamente as pistas ambientais e sociais é uma estratégia viável e eficaz para o aprendizado contínuo em robótica social. Os autores argumentam que:

• A adequação social não é apenas uma função do arranjo dos agentes, mas é determinada conjuntamente pelo ambiente (affordances) e pela configuração social.
• Tratar essas pistas como entradas separadas permite que o modelo se adapte melhor às mudanças de domínio sem esquecer o conhecimento anterior, pois a ramificação ambiental pode se adaptar a novos layouts enquanto a ramificação social retém padrões de interação de agentes generalizáveis.
• Os atuais VLMs zero-shot, embora poderosos, carecem dos vieses indutivos estruturais necessários para capturar a natureza matizada e dependente do contexto das normas sociais em ambientes incorporados.

O trabalho sugere que as futuras implantações de longo prazo de robôs sociais se beneficiarão de arquiteturas que separam estruturalmente os tipos de contexto, permitindo uma adaptação mais robusta a diversos e em constante mudança ambientes do mundo real. Os autores reconhecem limitações, como o uso de dados sintéticos e a dependência de segmentação panóptica, e propõem trabalhos futuros em validação no mundo real, explicabilidade das contribuições das ramificações e mecanismos de fusão adaptativos.