The Impact of Noise on Memorability in Minds and Machines
Este artigo demonstra que, enquanto as redes neurais profundas convencionais falham em igualar a robustez humana na estimativa de memorabilidade de imagens sob ruído devido à sua dependência de características individuais das imagens, o recém-proposto modelo GraphMem alinha-se com sucesso ao desempenho humano ao aproveitar a estrutura relacional entre as imagens.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
Não vivemos em um mundo visual perfeito. Nossos olhos frequentemente veem através de para-brisas riscados pela chuva, filmagens de segurança granuladas ou na luz fraca do entardecer. No entanto, apesar dessas imperfeições, a memória humana é notavelmente consistente. Se você mostrar a um grande grupo de pessoas uma fotografia de uma criança soprando velas de aniversário e outra de um estacionamento vazio, a maioria lembrará da cena da festa e esquecerá o estacionamento. Esse fenômeno, conhecido como memorabilidade de imagem, sugere que algumas fotos são simplesmente mais fáceis para nossos cérebios guardarem do que outras. Cientistas há muito acreditam que imagens memoráveis são processadas de forma mais eficiente pelo cérebro, permitindo que sejam reconhecidas e armazenadas rapidamente. Para estudar isso, pesquisadores têm recorrido cada vez mais à inteligência artificial, usando redes neurais profundas — sistemas de computador projetados para imitar o cérebro humano — para prever quais imagens as pessoas lembrarão. Esses modelos são agora usados para pontuar e selecionar imagens para tudo, desde publicidade até pesquisa científica, muitas vezes substituindo observadores humanos. Mas uma questão crítica permanece: será que essas máquinas entendem a memória da mesma forma que nós, especialmente quando as imagens que veem estão degradadas por ruído ou desfoque?
Uma equipe de pesquisadores da George Mason University decidiu testar isso comparando como tanto humanos quanto inteligência artificial lidam com o ruído visual. Eles começaram com um conjunto padrão de imagens conhecidas por terem níveis variados de memorabilidade, variando de cenas altamente memoráveis a aquelas que são facilmente esquecidas. Em seguida, eles degradaram sistematicamente essas imagens adicionando diferentes quantidades de estática visual, semelhante ao grão visto em telas de televisão antigas, e também aplicando desfoque. Primeiro, eles passaram essas imagens ruidosas por vários modelos de computador de última geração que são atualmente considerados os melhores na previsão da memória humana. Os resultados foram surpreendentes. Os modelos de computador comportaram-se de uma forma que se assemelha a um fenômeno chamado ressonância estocástica, onde adicionar um pouco de ruído pode, na verdade, tornar um sinal fraco mais fácil de detectar. Nos modelos, adicionar ruído fez com que as imagens menos memoráveis parecessem mais memoráveis, enquanto tornava as mais memoráveis menos memoráveis. Era como se o ruído confundisse o foco do computador, fazendo-o julgar erroneamente a importância da imagem.
Os pesquisadores então pediram a participantes humanos que realizassem a mesma tarefa, visualizando as mesmas imagens ruidosas e borradas em um jogo de reconhecimento contínuo, no qual tinham que identificar imagens repetidas. Os resultados humanos contaram uma história completamente diferente. Quando as imagens foram degradadas, a memória humana para as fotos altamente memoráveis permaneceu forte e resistente ao ruído. No entanto, a memória para as imagens menos memoráveis declinou drasticamente. Ao contrário dos computadores, os humanos não acharam que o ruído ajudou a lembrar das imagens esquecíveis; em vez disso, o ruído simplesmente tornou mais difícil lembrar de qualquer coisa, mas a capacidade do cérebro de manter as imagens mais marcantes foi muito mais robusta. O estudo descobriu que esse hiato entre o desempenho humano e o de máquina persistiu mesmo quando os pesquisadores treinaram novamente os modelos de computador em imagens ruidosas, uma técnica que geralmente ajuda as máquinas a reconhecer objetos degradados melhor. Os modelos continuaram a julgar erroneamente como o ruído afeta a memória, sugerindo que sua forma interna de processar imagens é fundamentalmente diferente de como os humanos aprendem e lembram.
Para entender por que os computadores estavam falhando, os pesquisadores observaram para onde os modelos estavam "olhando" quando faziam seus julgamentos. Eles descobriram que, para imagens altamente memoráveis, os modelos focavam sua atenção em uma parte específica e central da imagem. Quando o ruído era adicionado, esse foco se dispersava e a confiança do modelo na memorabilidade da imagem caía. Para imagens menos memoráveis, os modelos inicialmente tinham um foco disperso, mas o ruído às vezes causava a concentração em um único ponto, aumentando acidentalamente sua pontuação. Em contraste, a memória humana não depende de um único ponto focal da mesma maneira. Os pesquisadores descobriram que a memória humana depende fortemente de como uma imagem se relaciona com outras imagens de um conjunto, em vez de apenas nas características da própria imagem. Para testar isso, eles construíram um novo modelo chamado GraphMem. Em vez de analisar cada imagem isoladamente, este modelo observa as relações entre todas as imagens, mapeando-as com base em quão semelhantes são umas às outras.
Quando os pesquisadores testaram essa nova abordagem, os resultados mudaram dramaticamente. O GraphMem, que leva em conta o contexto e as relações entre as imagens, desempenhou-se de forma muito mais parecida com um humano. Ele previu corretamente que imagens altamente memoráveis permaneceriam estáveis mesmo conforme o ruído aumentava, enquanto as menos memoráveis sofreriam. Ele não caiu na armadilha de pensar que o ruído tornava as imagens ruins melhores. O estudo sugere que a razão pela qual a inteligência artificial atual tem dificuldade com a memória sob condições ruidosas é que ela trata cada imagem como um objeto independente, ignorando o contexto mais amplo no qual naturalmente visualizamos o mundo. Os humanos, tendo crescido vendo o mundo em toda a sua clareza imperfeita, aprenderam a filtrar o ruído e a confiar na distintividade de uma imagem em relação a tudo o mais que já vimos. As descobertas indicam que, para construir sistemas de memória verdadeiramente semelhantes aos humanos, a inteligência artificial deve ir além da análise de características individuais e começar a compreender a teia de relacionamentos que conecta uma imagem à próxima.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.