What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

Imagine estar parado em uma esquina de uma rua, olhando para uma fileira familiar de casas, um tipo específico de árvore e a maneira como a luz incide sobre o pavimento. Para um ser humano, esses detalhes podem parecer genéricos, mas eles guardam o segredo de exatamente onde você está. Para os computadores, no entanto, distinguir entre dois bairros que parecem quase idênticos é um desafio profundo. Este é o cerne da geolocalização visual, um campo da inteligência artificial que tenta descobrir onde uma fotografia foi tirada apenas olhando para seus pixels. Embora os sistemas modernos tenham se tornado muito bons em identificar localizações amplas, como diferenciar uma ilha tropical de uma montanha nevada, eles frequentemente tropeçam quando solicitados a localizar distritos específicos dentro da mesma área metropolitana. A questão que os pesquisadores há muito tempo se perguntam é se esses sistemas de computador podem aprender a ver as diferenças sutis entre lugares próximos e, se sim, o que exatamente eles estão aprendendo a ver.

Uma equipe de pesquisadores da Universidade do Sul da Califórnia partiu para responder a isso estudando as ruas de Los Angeles. Eles reuniram quase nove mil imagens de visão de rua de oito regiões distintas, variando desde o núcleo urbano denso de Downtown até as vibrações costeiras de Santa Monica e os subúrbios arborizados de Pasadena. Essas áreas compartilham o mesmo clima, a mesma arquitetura geral e, frequentemente, os mesmos tipos de carros e árvores, tornando-as um teste perfeito para a discriminação de grão fino. Os pesquisadores utilizaram um poderoso modelo de computador pré-treinado conhecido como CLIP, que já havia aprendido a associar imagens a descrições de texto a partir de uma vasta quantidade de dados da internet. Eles queriam saber se esse modelo, em seu estado original, já conseguia distinguir esses bairros ou se precisava ser retreinado para enxergar os detalhes mais finos. Mais importante ainda, se o modelo realmente melhorasse na tarefa após o treinamento, eles queriam entender em quais novos sinais visuais ele estava se baseando. Estaria ele simplesmente memorizando as formas dos edifícios ou estava aprendendo algo mais complexo sobre como a cena é organizada?

Os pesquisadores testaram o modelo de várias maneiras, começando com uma abordagem "zero-shot", na qual pediram ao computador para adivinhar a localização sem qualquer treinamento específico nos dados de Los Angeles. Em seu estado não treinado, o modelo estava correto apenas cerca de 39 por cento das vezes, mal superando o acaso entre as oito opções. Quando tentaram melhorar o modelo simplesmente ensinando-o a ler a saída de seu sistema visual existente — sem alterar a forma como ele via o mundo — o desempenho mal se moveu. No entanto, quando permitiram que o modelo realmente ajustasse seu processamento visual interno, os resultados mudaram dramaticamente. Ao permitir que o modelo aprendesse com as imagens de Los Angeles, sua precisão saltou para mais de 82 por cento. Essa melhoria massiva sugeriu que o segredo para distinguir esses bairros não estava apenas nos dados brutos que o modelo já possuía, mas em como ele aprendeu a reorganizar e priorizar esses dados por meio da adaptação.

Para entender o que o modelo estava realmente fazendo quando se tornou tão melhor, os pesquisadores aplicaram uma série de truques visuais nas imagens. Eles removeram elementos específicos, como textos em placas, veículos, árvores e o céu, para ver se o modelo ainda saberia onde estava. Eles também desfocaram as imagens para esconder detalhes finos enquanto mantinham as formas gerais e embaralharam as imagens, cortando-as em pequenos quadrados e misturando-as, destruindo o layout, mas mantendo o conteúdo local intacto. Os resultados revelaram uma nuance fascinante. Os modelos melhorados e adaptados tornaram-se muito mais sensíveis à organização geral da cena. Quando os pesquisadores embaralharam o layout, os modelos adaptados mudaram de opinião sobre a localização quase 43 por cento das vezes, enquanto os modelos não treinados mudaram de opinião apenas 11 por cento das vezes. Isso indicou que os modelos treinados aprenderam a depender fortemente da estrutura intacta da cena de rua — a maneira como a estrada, os edifícios e o céu se encaixam — em vez de apenas detectar um único objeto distintivo.

No entanto, o estudo também mostrou que essa sensibilidade à estrutura não significava que os modelos pudessem ignorar os detalhes visuais inteiramente. Quando os pesquisadores desfocaram as imagens para remover texturas e cores finas, os modelos adaptados não mantiveram uma porcentagem de precisão original maior em comparação aos não treinados. Em outras palavras, embora os modelos tenham se tornado melhores no uso do layout da cena, eles não foram capazes de adivinhar a localização baseando-se apenas no layout; eles ainda precisavam da aparência visual do ambiente. A remoção de pistas ambientais como vegetação e céu continuou a confundir os modelos, sugerendo que essas características atmosféricas amplas permaneceram cruciais. Os pesquisadores também testaram o efeito do embaralhamento em um conjunto completamente diferente de imagens, apresentando objetos comuns como gatos e cadeiras, e descobriram que o embaralhamento dessas imagens também confundiu os modelos. Isso provou que a sensibilidade ao layout era um traço geral de como o modelo processava imagens, não um superpoder especial desenvolvido apenas para encontrar localizações.

O estudo conclui que, para um computador distinguir entre bairros visualmente semelhantes, ele deve ser permitido adaptar seu processamento visual ao ambiente específico. Essa adaptação leva o sistema a prestar mais atenção à configuração geral da cena, à maneira como os vários elementos estão organizados uns em relação aos outros. No entanto, isso não substitui a necessidade de detalhes visuais. O sistema não aprende a ver o mundo puramente através de formas abstratas; em vez disso, aprende uma combinação da estrutura da cena e de sua aparência específica. As descobertas são específicas para este cenário controlado de localizações próximas com vistas sobrepostas, o que significa que o modelo está aprendendo a lidar com diferentes ângulos dos mesmos lugares, em vez de reconhecer cidades inteiras e distantes. Em última análise, a pesquisa mostra que, embora a inteligência artificial possa aprender a navegar pelas diferenças sutis de uma cidade, ela o faz tecendo a disposição da rua com a textura do mundo, em vez de encontrar uma única pista mágica.