Face and body representations converge along the visual hierarchy in models and cortex

Este estudo demonstra que, tanto em modelos de redes neurais profundas quanto no córtex visual humano, as representações de rostos e corpos evoluem de unidades segregadas para uma integração progressiva ao longo da hierarquia visual, onde unidades mistas desempenham um papel fundamental na percepção unificada da pessoa.

O essencial

Imagine que o seu cérebro é como uma grande fábrica de reconhecimento de pessoas. Quando você vê alguém na rua, essa fábrica precisa decidir: "Isso é um rosto? É um corpo? Ou é a pessoa inteira?"

Por muito tempo, os cientistas debateram se essa fábrica tinha dois departamentos separados (um só para rostos, outro só para corpos) ou se tudo era misturado em um único balcão.

Este estudo, feito por Leonard van Dyck e Katharina Dobs, usou computadores inteligentes (redes neurais) e exames de cérebro (ressonância magnética) para descobrir a resposta. A conclusão é fascinante: não é nem um nem o outro, é uma mistura que evolui!

Aqui está a explicação simples, usando algumas analogias:

1. O Laboratório de Computadores (Redes Neurais)

Os pesquisadores criaram "cérebros de computador" e os treinaram para reconhecer coisas em fotos. Eles queriam ver como esses computadores aprendiam a ver pessoas.

• O que eles encontraram: No começo do treinamento (nas camadas iniciais), o computador tinha "funcionários" especializados. Alguns só olhavam para rostos, outros só para corpos.
• A Surpresa: À medida que o computador "crescia" (nas camadas mais profundas), surgiram novos funcionários chamados "Mistos". Eles não eram especialistas em apenas uma coisa; eles olhavam para o rosto e para o corpo ao mesmo tempo.
• A Analogia: Pense em um time de futebol. No início, você tem um goleiro (só cuida da bola na área) e um atacante (só chuta para o gol). Mas, conforme o jogo avança, você precisa de jogadores que entendam o jogo inteiro, que saibam quando defender e quando atacar. O computador desenvolveu esses "jogadores completos".

2. O Cérebro Humano (Ressonância Magnética)

Depois, eles olharam para o cérebro de pessoas reais usando exames de imagem. Eles queriam saber se o cérebro humano funcionava igual ao computador.

• A Descoberta: Sim! O cérebro humano também tem áreas que respondem só a rostos e só a corpos. MAS, as áreas que ficam mais "frente" no cérebro (mais avançadas) são dominadas pelos "funcionários mistos".
• A Analogia da Montanha: Imagine que o processamento visual é uma montanha.
  • Na base (parte de trás do cérebro): Você vê peças soltas. Há uma área só para "olhos" e outra só para "pernas". É como ver peças de Lego separadas na caixa.
  • No topo (parte da frente do cérebro): As peças se juntam. O cérebro não vê mais "um rosto" e "um corpo" separados; ele vê a pessoa inteira. É como montar a casa de Lego: você não vê mais as peças individuais, vê a casa pronta.

3. Por que essa mistura é importante?

O estudo mostrou que os "funcionários mistos" são superúteis. Eles ajudam o computador (e o cérebro) a fazer várias tarefas ao mesmo tempo:

• Se você precisa reconhecer quem é a pessoa (identidade), o cérebro usa mais a informação do corpo (roupa, postura).
• Se você precisa reconhecer o rosto (quem é aquele conhecido), usa mais a informação do rosto.
• Se você precisa entender o que a pessoa está fazendo (correndo, falando ao telefone), o cérebro usa a mistura de tudo.

A Metáfora do "Suco de Fruta":
Imagine que o rosto é laranja e o corpo é limão.

• No começo, você tem um copo só de laranja e um copo só de limão.
• No final, você tem um copo de suco misto.
• O estudo descobriu que, para entender a "pessoa" como um todo, o cérebro prefere o suco misto. Ele não descarta os copos puros (eles ainda são importantes para detalhes), mas o suco misto é o que permite entender a situação completa.

Resumo da Ópera

O cérebro humano e os computadores modernos não escolhem entre "rostos separados" ou "corpos separados". Eles fazem os dois:

1. Começam separando as peças (rostos e corpos).
2. Depois, misturam tudo progressivamente para criar uma imagem completa da pessoa.

É como se o cérebro dissesse: "Primeiro, eu vejo os detalhes. Depois, eu junto tudo para entender quem é essa pessoa e o que ela está fazendo." Essa descoberta nos ajuda a entender melhor como vemos o mundo e como podemos criar computadores ainda mais inteligentes.

Resumo técnico

Título: Representações de rostos e corpos convergem ao longo da hierarquia visual em modelos e córtex

Autores: Leonard E. van Dyck & Katharina Dobs

---

1. Problema e Contexto

A percepção de outras pessoas é uma função central do sistema visual humano, envolvendo o reconhecimento de indivíduos, leitura de emoções e inferência de intenções a partir de rostos e corpos. Embora estudos de neuroimagem tenham identificado regiões corticais seletivas para rostos (ex: FFA, OFA) e corpos (ex: FBA, EBA), a natureza da relação entre essas representações permanece um ponto de debate:

• Visão Segregada: Rostos e corpos são processados em vias funcionais distintas.
• Visão Integrada: Rostos e corpos compartilham um espaço representacional contínuo.
• Visão Parcialmente Integrada: As representações são segregadas em regiões posteriores, mas convergem/integram-se em regiões anteriores.

A questão central é: Em que medida as representações de rostos e corpos são segregadas ou integradas no córtex visual e como isso se manifesta em modelos computacionais?

2. Metodologia

Os autores utilizaram uma abordagem multimodal combinando Redes Neurais Profundas (DNNs) e Ressonância Magnética Funcional (fMRI):

• Modelos Computacionais (DNNs):

  • Foram analisados vários modelos, com foco principal em duas arquiteturas baseadas no AlexNet: uma treinada de forma supervisionada no conjunto de dados Ecoset e outra treinada de forma auto-supervisionada (Barlow Twins) no ImageNet.
  • Classificação de Unidades: As unidades (neurônios artificiais) foram classificadas em três tipos com base em suas ativações para imagens de rostos, corpos, cenas e objetos:
    1. Seletivas para Rostos: Respondem mais a rostos.
    2. Seletivas para Corpos: Respondem mais a corpos.
    3. Mistas (Mixed-selective): Respondem preferencialmente a ambos (rostos e corpos) em comparação com outras categorias.
  • Análise de Integração: Utilizou-se Guided Grad-CAM para visualizar os recursos visuais e um paradigma de integração (rostos isolados, corpos isolados, pessoa inteira, fundo) para testar se a resposta a uma pessoa inteira é aditiva ou sinérgica.
  • Lesão (Lesioning): Unidades específicas foram "lesionadas" (ativadas para zero) para medir o impacto no desempenho de tarefas de reconhecimento facial, de pessoa e de ação.

• Dados de fMRI (Natural Scenes Dataset - NSD):

  • Utilizaram dados de alta resolução de 8 participantes do Natural Scenes Dataset.
  • Localização Funcional: Definiram regiões de interesse (ROIs) seletivas para rostos e corpos (OFA, FFA, aTL-faces, EBA, FBA, mTL-bodies) e uma região de sobreposição.
  • Modelos de Codificação (Encoding Models): Usaram regressão ridge não negativa para prever a atividade dos voxels a partir das ativações das unidades das DNNs.
  • Análise de Variância: Realizaram uma partição de variância para determinar quanto da variância explicada é única (específica de uma categoria) e quanto é compartilhada (integrada).

3. Principais Contribuições e Resultados

A. Emergência de Seletividade Mista em DNNs

• As DNNs otimizadas para reconhecimento visual desenvolvem não apenas unidades seletivas para rostos ou corpos, mas também uma população significativa de unidades mistas.
• A prevalência de unidades mistas aumenta sistematicamente das camadas iniciais para as camadas finais da rede, sugerindo uma integração progressiva.
• Unidades mistas respondem a características faciais e corporais simultaneamente dentro da mesma imagem.

B. Correspondência com o Córtex Visual Humano

• Predição de Atividade: As unidades mistas foram as que melhor explicaram a atividade fMRI tanto nas regiões seletivas para rostos quanto nas seletivas para corpos.
• Variância Compartilhada: Embora unidades seletivas (apenas rosto ou apenas corpo) contribuam com variância única em suas respectivas regiões, a maior parte da variância explicada é compartilhada entre os tipos de unidades.
• Gradiente Hierárquico: Observou-se um aumento sistemático na proporção de variância integrada (compartilhada + contribuição de unidades mistas) à medida que se avança do córtex posterior (ex: OFA, EBA) para o anterior (ex: FFA, FBA, áreas temporais). Isso confirma uma convergência progressiva das representações ao longo da hierarquia visual.

C. Função e Natureza da Integração

• Relevância Funcional: A lesão de unidades mistas prejudicou o desempenho em múltiplas tarefas de percepção de pessoas, indicando que elas carregam informações multifacetadas essenciais.
  • Reconhecimento Facial: Depende principalmente de unidades seletivas para rostos.
  • Reconhecimento de Pessoa (Identidade): Depende principalmente de unidades seletivas para corpos.
  • Reconhecimento de Ação: Depende de uma combinação de todos os tipos de unidades.
• Processamento Baseado em Partes (Part-based): Ao contrário da hipótese de integração sinérgica (onde o todo é maior que a soma das partes), os resultados mostraram que as unidades mistas integram rostos e corpos de forma aditiva (ou sub-aditiva). Ou seja, a resposta a uma pessoa inteira é aproximadamente a soma das respostas às partes isoladas, não havendo uma representação holística emergente sinérgica nas unidades individuais.

4. Significado e Conclusões

O estudo oferece uma resolução computacional e neural para o debate sobre a segregação versus integração de rostos e corpos:

1. Organização Parcialmente Integrada: O cérebro não processa rostos e corpos estritamente em vias separadas nem em um espaço totalmente unificado. Em vez disso, existe uma organização parcialmente integrada onde representações distintas coexistem e convergem progressivamente ao longo da hierarquia visual.
2. Equilíbrio entre Especialização e Flexibilidade: A presença de unidades mistas permite que o sistema visual mantenha a especialização necessária para tarefas específicas (como identificar um rosto) enquanto oferece flexibilidade para tarefas que exigem a integração de múltiplas pistas (como reconhecer uma pessoa inteira ou sua ação).
3. Validação de Modelos: A descoberta de que DNNs otimizadas para tarefas de reconhecimento desenvolvem automaticamente essa organização hierárquica de seletividade mista reforça a validade desses modelos como análogos funcionais do processamento visual biológico.
4. Mecanismo de Integração: A integração ocorre através de uma codificação baseada em partes (aditiva) em vez de sinérgica, sugerindo que a percepção de "pessoas inteiras" pode emergir da combinação linear de sinais de partes, sem a necessidade de uma população neural dedicada exclusivamente a representações holísticas de pessoas inteiras.

Em suma, o trabalho demonstra que a convergência de representações de rostos e corpos é um princípio fundamental tanto em modelos de inteligência artificial quanto no córtex visual humano, evoluindo de uma segregação inicial para uma integração progressiva nas áreas anteriores.