Evaluation Resolution Confounds Learning-Rule Comparisons in Model-Brain RSA of Early Visual Cortex

Imagine que você está tentando ensinar um robô a ver o mundo da mesma forma que um humano faz. Cientistas em um campo chamado NeuroAI estão obcecados com esta questão: "Qual é o melhor conjunto de regras para ensinar um computador a reconhecer um gato ou um carro?" Eles têm alguns livros de regras diferentes para escolher. Um é o método padrão, super eficiente, usado em quase toda a IA moderna (chamado de retropropagação ou backpropagation). Os outros são regras "biologicamente plausíveis", que tentam imitar como os cérebros reais realmente aprendem, como neurônios disparando em resposta ao tempo ou como o cérebro prevê o que verá a seguir.

Para ver qual livro de regras funciona melhor, os pesquisadores usam um truque inteligente chamado Análise de Similaridade Representacional (RSA). Pense nisso como um jogo de "Adivinhe a Conexão". Eles pegam os "pensamentos" internos do robô (suas representações digitais) sobre uma imagem e os comparam com a atividade elétrica real no céreamente humano ao olhar para essa mesma imagem. Se os pensamentos do robô coincidirem de perto com a atividade cerebral, dizemos que ele tem uma compreensão "semelhante à do cérebro". A grande esperança é que, ao encontrar a regra que torna o robô mais parecido com o cérebro, possamos finalmente decifrar o código da visão humana. Mas há um porém: o cérebro real é incrivelmente complexo, e os robôs que podemos treinar atualmente com essas regras sofisticadas baseadas na biologia ainda são pequenos e simples.

Este artigo puxa a cortina para revelar uma armadilha oculta nessas comparações. O pesquisador descobriu que a resposta para "qual regra é a melhor?" muda completamente dependendo de uma coisa: o tamanho da imagem que você mostra ao robô. Acontece que, quando os cientistas comparam esses pequenos robôs inspirados na biologia com o cérebro humano, eles frequentemente usam fotos de alta resolução e detalhadas (como 224 pixels de largura) para testá-los, embora os robôs tenham sido treinados apenas em imagens minúsculas e borradas de 32 pixels. O estudo mostra que esse descompasso cria uma ilusão mágica. Quando testados em fotos grandes e detalhadas, o robô não treinado, aleatório, de repente parece tão bom quanto, ou até melhor que, o robô treinado e inteligente ao compreender as partes iniciais do sistema visual. O autor mostra que isso não é porque o robô aleatório é secretamente brilhante; é porque a maneira como estamos medindo ele é enviesada pelo tamanho da imagem.

A Armadilha da Resolução

A descoberta central aqui é que o "vencedor" do concurso de correspondência cerebral depende inteiramente da resolução das imagens de teste. Imagine que você está julgando um concurso de culinária. Você tem um chef que praticou fazer um prato em uma panela minúscula de 3 polegadas, e você tem uma pessoa aleatória que apenas jogou ingredientes em uma tigela sem cozinhar. Se você pedir que eles sirvam o prato em uma travessa enorme de 2 pés, a pessoa aleatória pode acidentalmente parecer melhor porque a bandeja enorme esconde o fato de que a comida está crua. Mas se você servir na mesma panela minúscula de 3 polegadas em que eles praticaram, o chef treinado brilha, e a pessoa aleatória parece terrível.

Neste estudo, a "panela minúscula" é a resolução de 32 pixels na qual os robôs foram treinados, e a "travessa enorme" é a resolução de 224 pixels frequentemente usada para testá-los contra dados cerebrais. Quando o pesquisador testou os robôs na mesma resolução de 32 pixels em que aprenderam, os robôs treinados (usando retropropagação) foram ligeiramente melhores do que os não treinados, exatamente como se esperava. Mas quando mudaram para as imagens maiores de 224 pixels, os resultados inverteram. O robô não treinado, aleatório, de repente pareceu muito mais com o córtex visual inicial (V1) humano do que o treinado. A diferença entre eles cresceu constantemente à medida que a imagem ficava maior, indo de uma pequena diferença de -0,001 a 32 pixels para uma grande diferença de +0,044 a 224 pixels.

Eliminando os Suspeitos

O autor não apenas parou ao encontrar o problema; ele jogou de detetive para descobrir por que isso estava acontecendo. Eles tinham quatro suspeitos principais e os eliminaram um por um.

Primeiro, suspeitaram que fosse apenas um problema de "descompasso": talvez os robôs treinados simplesmente tenham um desempenho pior quando confrontados com imagens para as quais não foram treinados. Para testar isso, eles tentaram robôs que foram realmente treinados nas grandes imagens de 224 pixels (como um ResNet-50 e um transformador Swin-Tiny). Se a teoria do descompasso fosse verdadeira, esses robôs treinados em imagens grandes deveriam ter tido o melhor desempenho a 224 pixels. Mas eles não tiveram. Eles também tiveram o melhor desempenho em resoluções baixas e pioraram conforme as imagens ficavam maiores. Portanto, não era apenas sobre ser treinado no tamanho errado.

Segundo, eles observaram as configurações do robô "não treinado". Robôs não treinados costumam ter suas configurações de "normalização" (que ajudam a manter os dados equilibrados) definidas para valores padrão, enquanto os robôs treinados possuem configurações aprendidas. O autor pensou que talvez essa configuração padrão fosse o ingrediente secreto. Eles ajustaram manualmente as configurações do robio não treinado para combinar perfeitamente com os dados de treinamento. Mesmo com essas configurações perfeitas, o robô não treinado ainda venceu o treinado em altas resoluções. Portanto, não era um erro de configuração.

Terceiro, eles verificaram se os robôs estavam apenas imitando padrões visuais simples, como a maneira como manchas de luz e escuridão (filtros de Gabor) ou pixels brutos parecem. Eles descobriram que os robôs que mais se pareciam com esses padrões simples não eram necessariamente os que mais se pareciam com o cérebro. Na verdade, um dos robôs treinados parecia muito "tipo Gabor", mas ainda assim não correspondia bem ao cérebro. Portanto, padrões simples não eram toda a história.

Quarto, consideraram que, conforme a imagem aumenta, o robô está fazendo a média de cada vez mais pixels, o que pode fazer com que sua resposta final seja apenas uma medida simples do brilho geral da imagem. Eles descobriram que um único número representando o brilho médio de uma imagem na verdade combinava com os dados cerebrais quase tão bem quanto o robô não treinado. Isso foi uma pista enorme: o robô não treinado estava fazendo muito de seu "pareamento" apenas adivinhando o brilho. No entanto, mesmo após contabilizar o brilho, o efeito da resolução não desapareceu completamente.

O Verdadeiro Culpado: Detalhe da Imagem

Para encontrar a verdadeira causa, o autor realizou um experimento final e inteligente. Ele pegou as imagens grandes, encolheu-as até o tamanho minúsculo de 32 pixels (limitando o detalhe) e depois as ampliou novamente para o tamanho grande. Isso significava que o robô ainda estava olhando para uma imagem grande e fazendo a média de muitos pixels, mas o detal de informação real na imagem estava preso na baixa resolução.

O resultado foi dramático. Quando o detalhe foi limitado à resolução de treinamento, os robôs treinados pararam de piorar conforme a imagem ficava maior. A enorme lacuna entre os robôs treinados e os não treinados quase desapareceu. Isso provou que o efeito não foi causado pelo robô olhar para mais pixels (o agrupamento ou pooling), mas sim pelo robô ver mais detalhes que ele não aprendeu a lidar. O detalhe extra nas imagens de alta resolução estava prejudicando os robôs treinados e ajudando os aleatórios, mas o autor admite que não entende totalmente por que os filtros aleatórios se beneficiam desse detalhe extra enquanto os treinados sofrem.

O Que Realmente Importa

O artigo termina com uma reviravolta tranquilizadora. Enquanto a parte inicial do sistema visual (V1) estava sendo confundida pelo tamanho da imagem, as partes de nível superior do cérebro (chamadas de LOC) contaram uma história diferente. Nesses níveis superiores, os robôs treinados superaram consistentemente os não treinados, independentemente do tamanho da imagem. Isso significa que o aprendizado realmente altera a natureza cerebral da rede, mas o "ruído" da resolução da imagem estava abafando o sinal nos estágios iniciais.

A principal lição é um aviso para os cientistas: se você quiser saber qual regra de aprendizado é a melhor, deve ser muito cuidadoso com o tamanho das fotos que usa para testá-las. O "vencedor" não é uma propriedade fixa da regra; é um resultado de como você escolhe medi-la. Até que os cientistas concordem com uma maneira padrão de combinar o tamanho da imagem com a área cerebral que estão estudando, as comparações no córtex visual inicial podem ser enganosas. O artigo sugere que devemos testar na resolução em que o modelo foi treinado e relatar essa resolução claramente, para que não sejamos enganados pela armadilha da resolução.