Face-selective responses correlate with deep networks that learn from environment feedback

Este estudo demonstra que um modelo de aprendizado por reforço, treinado com feedback ambiental para simular interações humanas, consegue capturar respostas neurais a rostos com a mesma eficácia que modelos supervisionados e não supervisionados, destacando a importância tanto do objetivo de aprendizado quanto do design da arquitetura na compreensão das representações neurais.

O essencial

Imagine que o seu cérebro é como um chef de cozinha muito talentoso, e a sua visão é o processo de cozinhar pratos complexos (como reconhecer rostos).

Por muito tempo, os cientistas tentaram entender como esse "chef" aprende a cozinhar usando dois métodos principais:

1. O Método do Livro de Receitas (Aprendizado Supervisionado): O cientista dá ao chef uma foto de um rosto e diz: "Isso é o João, isso é a Maria". O chef aprende a memorizar os nomes. O problema? Na vida real, ninguém anda por aí com um crachá dizendo quem é. Nós não temos um "livro de respostas" para cada pessoa que vemos.
2. O Método da Observação Pura (Aprendizado Não Supervisionado): O chef olha para milhares de fotos e tenta agrupar o que parece parecido, sem saber os nomes. Ele aprende a ver padrões, mas ignora por que ele está olhando. Ele não sabe se aquele rosto é de um amigo ou de um perigo.

O Grande Problema:
A vida real não é nem um livro de receitas, nem apenas observação passiva. Na vida real, aprendemos através do feedback do ambiente. Se eu me aproximo de alguém e sorrimos, sinto-me bem (recompensa). Se me aproximo de alguém e ele grita, sinto-me mal (punição). O cérebro humano aprende a reconhecer rostos baseando-se nessas interações, não apenas em etiquetas ou em "olhar bonito".

A Nova Descoberta: O "Chef" que Aprende com a Vida

Os autores deste estudo criaram um novo tipo de "chef" (um modelo de computador) que aprende exatamente como nós aprendemos: através de Reforço (Recompensa e Punição).

Eles treinaram uma inteligência artificial para:

• Aproximar-se de rostos que geralmente trazem interações positivas (como um sorriso).
• Evitar rostos que trazem interações negativas (como uma expressão de raiva).

O computador não sabia os nomes das pessoas. Ele apenas aprendeu: "Se eu me aproximar desse rosto, ganho pontos. Se me aproximar daquele, perco pontos."

O Experimento: Conectando o Cérebro à Máquina

Para ver se esse novo "chef" pensava como o nosso cérebro, os pesquisadores fizeram algo incrível:

• Eles colocaram eletrodos delicados no cérebro de pacientes (que já precisavam deles para tratar epilepsia) para ler a atividade elétrica quando eles viam rostos.
• Eles compararam a "receita" que o cérebro usava para processar os rostos com a "receita" que o computador usava.

O Resultado Surpreendente:
O computador que aprendeu com feedback do ambiente (o método de reforço) conseguiu imitar o cérebro humano tão bem quanto os computadores que usavam o "livro de receitas" (supervisionado) ou a "observação pura" (não supervisionado).

Isso é como descobrir que um aluno que aprendeu na rua, errando e acertando, consegue resolver um problema de matemática tão bem quanto um aluno que decorou a fórmula do professor.

O Segredo da Arquitetura (O "Paladar" do Chef)

O estudo descobriu que, para esse método funcionar, o computador precisava de uma "cozinha" especial. Eles usaram dois tipos de estruturas diferentes:

1. Uma estrutura comum (ResNet).
2. Uma estrutura mais complexa e moderna (DenseNet com um "gargalo variacional").

Funcionou assim:

• Na estrutura comum, o método de reforço foi um pouco menos eficiente.
• Na estrutura complexa, o método de reforço brilhou! Ele aprendeu a reconhecer rostos de forma tão eficiente quanto os outros métodos.

Isso sugere que o cérebro humano pode ter uma "estrutura" interna que é muito boa em misturar o que vemos com o que sentimos (recompensa/punição).

Por que isso importa?

1. Realismo: A maioria das inteligências artificiais hoje é treinada com dados perfeitos e rotulados (como o "livro de receitas"). Este estudo mostra que podemos criar IAs mais inteligentes e realistas, que aprendem interagindo com o mundo, exatamente como nós.
2. Entendendo o Cérebro: Mostra que o nosso cérebro não é apenas uma máquina de "ver" rostos, mas uma máquina de "sentir" rostos. A forma como nos relacionamos com as pessoas (se elas são amigas ou inimigas) molda fisicamente como nossos neurônios processam essas imagens.
3. O Futuro: Se misturarmos a observação pura com o aprendizado por recompensa (tentar fazer as duas coisas ao mesmo tempo), talvez possamos criar IAs que entendam o mundo humano de uma forma ainda mais profunda e natural.

Em resumo: O cérebro aprende a ver rostos não apenas olhando, mas sentindo o que acontece quando interage com eles. E agora, temos uma máquina que aprendeu dessa mesma forma e consegue "pensar" como o nosso cérebro.

Resumo técnico

1. Problema e Motivação

O estudo aborda uma lacuna fundamental na modelagem computacional das representações neurais de faces. Embora redes neurais profundas supervisionadas (que aprendem com rótulos de "verdade absoluta" ou ground-truth) tenham demonstrado alta precisão na modelagem de respostas neurais, elas dependem de dados rotulados que raramente estão disponíveis em cenários do mundo real. Por outro lado, modelos não supervisionados (que aprendem sem rótulos) superam essa limitação, mas falham em capturar um aspecto crucial: a formação de representações visuais é moldada pelo feedback do ambiente e pelas tarefas comportamentais que o observador precisa realizar.

O objetivo principal deste trabalho foi desenvolver e avaliar um modelo de Aprendizado por Reforço (RL) para a percepção de faces. Diferente dos modelos supervisionados, o RL aprende através da interação com o ambiente (recompensas e punições), simulando a dinâmica social real onde indivíduos são aproximados ou evitados com base em interações passadas.

2. Metodologia

Dados e Participantes

• Dados Neurais: Foram utilizados dados de eletroencefalografia intracortical (iEEG) de 11 pacientes (10 incluídos na análise final) com eletrodos implantados para localização de início de crises epilépticas.
• Estimulação: Os participantes visualizaram imagens de faces do conjunto de dados KDEF (Karolinska Directed Emotional Faces), variando em identidade, expressão e ângulo de visão.
• Regiões de Interesse: Foram identificados 24 eletrodos "seletivos a faces" (maioria no giro fusiforme e córtex temporal ventral/lateral).

Arquitetura dos Modelos

Os autores treinaram e compararam seis modelos de Redes Neurais Convolucionais Profundas (DCNNs), organizados em duas arquiteturas de codificador (encoder) e três mecanismos de aprendizado:

1. Arquiteturas de Codificador:

   • ResNet-18: Uma arquitetura residual padrão, amplamente utilizada em neurociência.
   • VIB DenseNet: Uma combinação de DenseNet (conexões densas) e Variational Information Bottleneck (VAE), que introduz estocasticidade e regularização.

2. Mecanismos de Aprendizado (Decodificadores):

   • Supervisionado (SUP): Classificação de identidade da face (usando Cross-Entropy Loss).
   • Não Supervisionado (UNSUP): Reconstrução da imagem original (usando Reconstruction Loss e VAE).
   • Reinforcement Learning (RL): Tarefa de "Aproximação-Evitação". O modelo recebe uma imagem de face e decide se deve interagir (aproximar) ou não.
     • Cada identidade tem uma distribuição de recompensa (Gaussiana) associada.
     • O modelo maximiza a recompensa total, aprendendo a evitar identidades com recompensas negativas e aproximar as positivas.
     • A função de perda inclui um termo de "custo de oportunidade" para evitar que o modelo colapse em não-interagir.

3. Modelo Combinado (VIB UNSUP+RL): Um modelo multi-tarefa que utiliza o mesmo encoder VIB, mas possui dois decoders: um para reconstrução de imagem e outro para previsão de recompensa/interação.

Análise de Dados

• Análise de Similaridade Representacional (RSA): Foram calculadas Matrizes de Dissimilaridade Representacional (RDMs) para os dados neurais (em janelas temporais específicas: 125-175ms, 175-225ms, 225-275ms) e para as representações internas dos modelos.
• Correlação: A similaridade entre as RDMs neurais e as RDMs dos modelos foi quantificada usando o coeficiente de correlação de postos de Kendall ($\tau$).

3. Resultados Principais

• Desempenho do RL: O modelo de RL treinado com a arquitetura VIB DenseNet alcançou uma correlação com as respostas neurais comparável à dos modelos supervisionados (SUP) e não supervisionados (UNSUP).
• Importância da Arquitetura:
  • Com a arquitetura ResNet, o modelo supervisionado (SUP) superou significativamente os modelos RL e UNSUP na correspondência neural.
  • Com a arquitetura VIB DenseNet, não houve diferença significativa entre os modelos SUP, UNSUP e RL. Isso sugere que a arquitetura VIB é crucial para que o aprendizado por reforço capture representações neurais complexas.
  • O modelo VIB RL apresentou correlações significativamente maiores com os dados neurais do que o modelo ResNet RL.
• Janela Temporal: A correspondência entre modelos e neurônios foi mais alta na janela de tempo inicial (125-175ms) e diminuiu em janelas subsequentes para todos os modelos.
• Contribuições Únicas: Análises de semi-partial Kendall $\tau$ mostraram que os modelos supervisionados e a arquitetura VIB contêm informações únicas que explicam variância neural não capturada pelos outros modelos.
• Modelo Combinado: O modelo híbrido (UNSUP+RL) conseguiu realizar ambas as tarefas (reconstrução e decisão de interação), embora com desempenho ligeiramente inferior em cada tarefa individual comparado aos modelos especializados. Sua correspondência neural foi numericamente superior, mas não estatisticamente diferente dos modelos individuais.
• Diferenças Ventral vs. Lateral: Foi possível distinguir eletrodos das vias ventral e lateral temporal com 75% de precisão baseando-se nos padrões de correspondência com os modelos. As vias ventrais mostraram maior correspondência geral com os modelos, especialmente nas janelas iniciais.

4. Contribuições Chave

1. Validação do RL na Percepção Visual: Demonstra que modelos de aprendizado por reforço, que não dependem de rótulos de verdade absoluta, podem modelar respostas neurais a faces tão bem quanto modelos supervisionados, desde que a arquitetura adequada seja utilizada.
2. Papel do Feedback Ambiental: Confirma que a incorporação de feedback ambiental (recompensas) é um mecanismo viável para explicar a formação de representações neurais, alinhando-se com evidências biológicas de que a percepção é moldada pela tarefa e pelo contexto.
3. Sinergia Arquitetural: Identifica que a combinação de DenseNet e Variational Autoencoders (VIB) é superior para tarefas de RL na modelagem de dados neurais, possivelmente devido à capacidade de regularização e estocasticidade que imitam a variabilidade neural.
4. Análise Temporal e Espacial: Fornece insights sobre como diferentes vias cerebrais (ventral vs. lateral) e janelas temporais respondem diferentemente a modelos baseados em tarefas, sugerindo que a via lateral pode ser mais sensível a estímulos dinâmicos (que não foram usados no treino).

5. Significado e Implicações

Este estudo sugere que a visão computacional e a neurociência devem avançar além da aprendizagem puramente supervisionada ou não supervisionada. A percepção humana é fundamentalmente interativa e orientada a objetivos. Modelos que aprendem através da interação com o ambiente (RL) oferecem uma ponte mais realista para entender como o cérebro codifica informações sociais complexas, como faces.

A descoberta de que a arquitetura do modelo é tão crítica quanto a tarefa de aprendizado destaca a necessidade de projetar redes neurais que não apenas otimizem uma função de perda, mas que também incorporem mecanismos de regularização e estocasticidade que reflitam a natureza biológica do processamento neural. O trabalho abre caminho para futuros estudos que utilizem tarefas de RL mais complexas e realistas para decifrar a geometria representacional do cérebro humano.