The semantic geometry of action: convergence across foundation models, human behaviour and the brain
Este estudo demonstra que modelos de fundação organizam ações naturalísticas dentro de uma geometria semântica que converge com julgamentos comportamentais humanos e representações corticais, superando codificadores de vídeo tradicionais na previsão tanto de avaliações de similaridade humana quanto de atividade cerebral.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
Os seres humanos são mestres em ler o mundo em movimento. Quando observamos outra pessoa, não vemos apenas um corpo movendo-se pelo espaço; entendemos instantaneamente o que ela está tentando fazer, por que está fazendo e qual pode ser seu próximo passo. Essa capacidade de interpretar a ação dinâmica é um pilar da inteligência humana, permitindo-nos navegar em situações sociais complexas e cooperar com os outros. Durante décadas, cientistas tentaram construir uma inteligência artificial que pudesse fazer o mesmo. Embora programas de computador modernos possam agora identificar ações com alta precisão — diferenciando uma pessoa correndo de uma pessoa caminhando — pesquisadores há muito se perguntam se essas máquinas realmente entendem o significado por trás do movimento da mesma forma que os humanos. Elas organizam essas ações em suas "mentes" internas com base na mesma lógica que usamos, ou estão simplesmente correspondendo padrões de pixels sem compreender o conceito subjacente?
Uma equipe de pesquisadores do Instituto de Automação da China deu agora um passo significativo para responder a essa questão. Eles se propuseram a mapear a estrutura oculta de como tanto os humanos quanto a inteligência artificial avançada organizam o conceito de ação humana. Ao comparar a "geografia" interna da ação em grandes modelos de linguagem, modelos multimodais que podem ver e ler, e o cérebro humano, eles descobriram uma convergência surpreendente. O estudo sugere que, quando esses sistemas artificiais são treinados em vastas quantidades de dados, eles desenvolvem espontaneamente uma forma de pensar sobre as ações humanas que se alinha de perto com a percepção humana e até espelha a maneira como o cérebro humano processa esses mesmos movimentos.
Para explorar isso, os pesquisadores trataram os modelos de inteligência artificial como participantes de um experimento psicológico. Eles apresentaram a esses modelos milhares de clipes de vídeo curtos e descrições textuais de pessoas fazendo diversas coisas, desde cozinhar e jardinagem até lutar e dançar. Os modelos foram solicitados a realizar uma tarefa simples, mas reveladora: dados três ações diferentes, eles tinham que identificar qual era a "intrusa". Por exemplo, se mostrassem um vídeo de alguém esquiando, alguém desenhando e alguém escalando uma parede de rocha, o modelo teria que decidir qual ação era a mais diferente das outras duas. Ao analisar milhões dessas escolhas, os pesquisadores puderam reconstruir o mapa mental invisível que os modelos estavam usando para classificar essas ações. Eles fizeram o mesmo com um grande grupo de participantes humanos, criando uma base de como as pessoas naturalmente agrupam e distinguem diferentes comportamentos.
Os resultados revelaram que tanto os modelos apenas de texto, que apenas leem descrições de ações, quanto os modelos multimodais, que assistiram aos vídeos reais, desenvolveram mapas internos estranhamente semelhantes ao mapa humano. Esses mapas não eram aleatórios; eles organizavam as ações em espaços de baixa dimensionalidade onde comportamentos semelhantes ficavam próximos e diferentes ficavam distantes. Crucialmente, esses mapas artificiais previam as escolhas humanas melhor do que as ferramentas tradicionais de análise de vídeo que dependem de simples características visuais. O estudo descobriu que os modelos não estavam apenas memorizando os vídeos; eles estavam capturando os objetivos abstratos e os contextos sociais que os humanos usam para dar sentido ao movimento. Por exemplo, os modelos aprenderam a agrupar ações de "socialização" e separá-las de tarefas "solitárias", tal como as pessoas fazem.
Para provar que esses mapas internos eram verdadeiramente significativos e não apenas truques estatísticos, os pesquisadores testaram-nos de duas maneiras rigorosas. Primeiro, utilizaram os mapas internos dos modelos para guiar um sistema de geração de vídeo. Ao ajustar um único número na representação interna do modelo, eles podiam alterar suavemente o conteúdo de um vídeo. Se aumentassem o valor para uma dimensão "relacionada à natureza", uma cena interna transformava-se em uma externa; se impulsionassem uma dimensão de "esportes", a atividade mudaria em direção a uma competição atlética. Isso demonstrou que os modelos haviam aprendido conceitos distintos e controláveis de ação que poderiam ser manipulados para criar novas e coerentes cenas visuais.
Segundo, e talvez mais significativamente, os pesquisadores testaram se esses mapas artificiais poderiam prever a atividade no cérebro humano. Eles aplicaram os mapas fixos aprendidos pelos modelos a um enorme conjunto de dados de exames cerebrais de pessoas assistindo a milhares de diferentes vídeos de ação. Descobriram que a organização interna dos modelos previa com sucesso quais partes do cérebro humano "acenderiam" ao visualizar ações específicas. Os modelos baseados em texto, que aprenderam seus conceitos de ação puramente através de descrições linguísticas sem nunca terem visto um vídeo, foram particularmente bons em prever a atividade em regiões cerebrais de ordem superior, responsáveis pela compreensão de comportamentos sociais complexos e direcionados a objetivos. Isso sugere que os conceitos abstratos de ação, aprendidos puramente através da linguagem, são suficientes para capturar a estrutura central de como o cérebro humano representa o movimento.
O estudo também destacou diferenças interessantes entre os tipos de modelos. Enquanto os modelos que assistem a vídeos capturavam detalhes visuais refinados, os modelos apenas de texto eram surpreendentemente eficazes em organizar ações em categorias amplas e significativas. Em algumas regiões cerebrais, os modelos baseados em texto superaram os modelos de vídeo na previsão de respostas neurais humanas. Isso implica que a compreensão conceitual da ação — saber o que uma pessoa está tentando alcançar — pode ser mais importante para a percepção humana do que os detalhes visuais específicos de como o movimento parece.
Em última análise, esta pesquisa fornece uma nova e poderosa forma de compreender a relação entre a inteligência artificial e a biológica. Mostra que, quando as máquinas são expostas a dados suficientes, elas podem desenvolver uma geometria semântica compartilhada com os humanos, organizando o mundo da ação de uma forma funcionalmente semelhante à nossa. As descobertas sugerem que o caminho para máquinas verdadeiramente inteligentes pode não exigir que as programemos explicitamente com regras humanas, mas sim que permitamos que descubram essas estruturas por conta própria através da exposição à riqueza da experiência humana. O estudo não afirma que as máquinas possuem consciência ou sentimentos, mas demonstra que elas podem construir uma compreensão estrutural do comportamento humano que é profundamente alinhada com a nossa, oferecendo uma base promissora para futuras interações entre pessoas e máquinas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.