Resumo Técnico: Usando Teoria da Mente para Arbitrar entre Aprendizagem Social e Não Social

Declaração do Problema

A aprendizagem social permite que agentes adquiram informações de outros, mas os seres humanos não dependem dela indiscriminadamente. Eles devem decidir quando observar, quem observar e por quanto tempo observar, equilibrando o potencial ganho de informação contra os custos cognitivos e de tempo da observação versus a exploração independente. Os modelos computacionais existentes de aprendizagem social geralmente se dividem em duas categorias:

1. Contas heurísticas: Estas dependem de regras fixas (ex: "copiar a maioria" ou "copiar o prestigiado") e tratam o comportamento observado como um sinal a ser ponderado, ignorando os estados mentais generativos (objetivos e crenças) que produziram o comportamento.
2. Contas de Aprendizagem por Reforço (RL): Estas ponderam a informação social com base na confiabilidade estimada da fonte (volatilidade), mas também tratam o comportamento como um sinal ruidoso, em vez de evidência de estados mentais subjacentes.

Ambas as abordagens têm dificuldade em explicar a aprendizagem eficiente a partir de observações esparsas e indiretas, onde a inferência crítica não é o que um agente fez, mas por que ele o fez (ou seja, seus objetivos e crenças). Além disso, embora a literatura de busca ativa de informação aborde o equilíbrio custo-benefício de consultas não sociais, estender isso a fontes sociais é complexo porque a informatividade de uma observação depende dos objetivos e crenças latentes do agente observado, que podem diferir dos do observador.

Metodologia

Paradigma Experimental

Os autores introduziram um novo jogo de mundo de grade (12x11) para criar trocas comercializáveis parametricamente entre aprendizagem social e não social.

• Configuração: Um "agente vermelho" controlado por humano deve recuperar um baú de tesouro específico. O caminho é bloqueado por barreiras coloridas que exigem amuletos correspondentes segurados por magos específicos (entre vários decoy/iscas).
• Mecânica: Em cada passo de tempo, o agente pode agir (mover um passo, incorrendo em um custo de 3 pontos) ou observar um NPC (Non-Player Character) selecionado (incorrendo em um custo de 1 ponto por passo, durante o qual apenas o NPC se move).
• Variáveis: O estudo variou:
  • Incerteza de Objetivo: Tesouro único vs. múltiplos tesouros (Experimentos 1 vs. 2).
  • Disponibilidade de Agente: Único vs. múltiplos NPCs (Experimento 3).
  • Expertise do Agente: Especialista (conhece a localização do amuleto) vs. Novato (não conhece) (Experimento 4).
• Estrutura de Custo: Movimentação custa 3 pontos, interação com mago custa 5 pontos e observação custa 1 ponto. Os participantes foram incentivados a minimizar o custo total.

O Modelo de Mentalização Racional

Os autores propõem um modelo de Mentalização Racional que integra a Teoria da Mente (ToM) Bayesiana com uma análise racional de custo-benefício. O modelo opera comparando a utilidade esperada de agir imediatamente versus observar um agente.

1. Modelo Generativo do Agente Observado: O observador modela o NPC como um planejador quase ideal em um ambiente parcialmente observável. O observador mantém uma distribuição posterior sobre os objetivos ($g$) e crenças ($b$) latentes do NPC usando um filtro de partículas (Busca de Plano Inverso Sequencial, SIPS).
2. Simulação e Predição: Para cada hipótese $\theta = (g, b)$, o observador simula a trajetória futura do NPC usando uma política de Boltzmann. Ele prevê:
   • $T^i$: O número de passos de observação necessários para que a trajetória do NPC estreite o conjunto de candidatos do observador para apenas um (ou falsifique a hipótese).
   • $C^i_{plan}$: O custo de exploração residual que o observador enfrentaria após adquirir esta informação.
3. Arbitragem de Utilidade: O modelo calcula o custo esperado de observar o agente $j$:
   $$Q^j_{obs}(t) = \sum_i p^i_t [c_{obs} T^i + C^i_{plan}]$$
   onde $p^i_t$ é o peso posterior da hipótese $i$.
   O observador compara isso com o custo de agir imediatamente, $C_{self}(b_t)$ (estimado via um planejador guloso/greedy).
   • Se $Q^j_{obs}(t) < C_{self}(b_t)$, o modelo observa o agente $j$.
   • Caso contrário, ele age.
   • Em configurações de múltiplos agentes, o modelo seleciona o agente $j^*$ que minimiza $Q^j_{obs}(t)$.

Estudos de Ablação

Para isolar as contribuições de componentes específicos, os autores compararam o modelo completo contra três ablações:

• Observador Racional: Realiza análise de custo-benefício, mas carece de ToM (não infere objetivos/crenças).
• Observador Mentalizador: Infere objetivos/crenças, mas carece de estimativa de utilidade (não pesa o custo de observação contra o custo de exploração).
• Observador Ingênuo: Observa indiscriminadamente com base em regras fixas (ex: observar até a primeira interação com o mago) sem inferência ou raciocínio de custo.

Principais Resultados

Ajuste Quantitativo

Em quatro experimentos com complexidade crescente, o modelo de Mentalização Racional alcançou alta fidelidade ao capturar o comportamento de observação humana:

• Correlação: As correlações de Pearson por experimento variaram de $r = 0,90$ a $0,95$.
• Concordância: O coeficiente de correlação de concordância (CCC) de Lin agrupado foi de 0,89 (95% CI [0,84, 0,92]), aproximando-se do limite superior da confiabilidade inter-participante humana ($r_{SB} = 0,83-0,92$).
• Comparação: Todos os modelos de ablação tiveram desempenho significativamente inferior (CCC $\leq 0,21$).

Padrões Qualitativos e Insights de Ablação

• Incerteza de Objetivo (Exp 2): Quando o objetivo do NPC era ambíguo, humanos e o modelo completo observaram por mais tempo para desambiguar. O Observador Mentalizador observou excessivamente porque conseguia raciocinar sobre objetivos, mas falhou em pesar o custo da observação contra o benefício. O Observador Racional observou insuficientemente porque não conseguiu antecipar que a trajetória do NPC seria informativa.
• Seleção de Agente (Exp 3): Quando dois especialistas estavam presentes, humanos e o modelo completo observaram seletivamente o agente cuja trajetória era mais provavelmente informativa para o objetivo específico do observador. Os Observadores Ingênuo e Racional falharam em distinguir entre agentes, enquanto o Observador Mentalizador identificou o agente informativo direcionalmente, mas falhou em alocar o tempo de observação de forma eficiente.
• Calibragem de Expertise (Exp 4): Quando um especialista e um novato estavam presentes, humanos e o modelo completo mudaram dinamicamente a observação com base no ambiente (ex: observando o novato quando seu caminho era mais diagnóstico em mapas de magos esparsos). O Observador Mentalizador observou excessivamente o novato em casos onde o ganho de informação não justificava o custo. O Observador Racional e o Ingênuo voltaram-se para o especialista por padrão, falhando em utilizar o sinal contrafactual do novato.

Observação vs. Execução

O modelo completo reproduziu corretamente o acoplamento positivo entre passos de observação e execução encontrados nos dados humanos (mais observação correlaciona-se com mais passos de execução). Os observadores Mentalizador e Ingênuo inverteram essa relação (inclinação negativa), enquanto o Observador Racional mostrou uma inclinação positiva mais fraca com um intervalo de confiança incluindo zero.

Significância e Alegações

O artigo afirma que a aprendizagem social seletiva é guiada pela Teoria da Mente a serviço da maximização da utilidade.

1. Integração de ToM e Utilidade: O estudo demonstra que nem a ToM sozinha, nem a análise de custo-benefício sozinha, são suficientes. Humanos (e o modelo) precisam de ambas: a capacidade de inferir os estados mentais generativos de outros para prever a informatividade, e a capacidade de arbitrar esse ganho potencial contra o custo da observação.
2. Além da Confiabilidade do Sinal: Ao contrário das contas de RL que arbitram com base na volatilidade da confiabilidade da fonte, este modelo mostra que a arbitragem depende dos objetivos inferidos da fonte. O comportamento de um agente só é informativo se seus objetivos se alinham ou interagem significativamente com os objetivos do observador.
3. Visão Generativa do Comportamento: Os resultados apoiam a visão de que o comportamento observado deve ser tratado como evidência sobre os objetivos e crenças que o produziram, em vez de um sinal fixo. Isso permite a aprendizagem eficiente a partir de dados esparsos e indiretos onde os agentes possuem objetivos diferentes.
4. Mecanismo Unificado para Confiança Seletiva: O artigo sugere que a "confiança seletiva" (preferir especialistas) e a "observação seletiva" (escolher quem observar) podem ser produtos de uma inferência Bayesiana unificada sobre modelos de agentes, em vez de sistemas cognitivos distintos.

Os autores observam limitações, incluindo o fato de o modelo tratar a observação como o único canal social (ignorando comunicação/pedagogia) e assumir tentativas independentes sem acumular priors específicos do agente. Além disso, o modelo sistematicamente subestima a quantidade absoluta de observação que os humanos realizam, sugerindo um papel da curiosidade intrínseca ou da coleta de evidências conservadora além da estrita maximização da utilidade. No entanto, o modelo captura com sucesso os padrões relativos do comportamento de tomada de decisão humana em ambientes complexos de aprendizagem social.