NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection

Na era digital, uma mentira muitas vezes viaja mais rápido que a verdade, mas nem sempre porque a verdade está escondida. Às vezes, a mentira é construída a partir da própria verdade. Esta é a natureza da desinformação fora de contexto, uma prática enganosa onde uma fotografia genuína e inalterada é combinada com uma legenda falsa ou enganosa. A imagem permanece intocada; uma foto de uma multidão real, um edifício real ou uma pessoa real é retirada de seu momento e lugar originais. O engano reside inteiramente na história contada ao lado dela. Uma foto de uma inundação de dez anos atrás pode ser apresentada como um desastre atual, ou uma foto de um político em um país pode ser alegada para mostrá-lo em outro. Como a imagem em si é autêntica, ela passa pelas verificações visuais que normalmente detectam fotos adulteradas ou deepfakes. O desafio para computadores e humanos é não apenas identificar uma imagem falsa, mas perceber que a história anexada a ela não corresponde à realidade capturada no quadro.

Durante anos, pesquisadores construíram ferramentas para detectar esses descompassos, mas a maior parte de seu trabalho focou em notícias em língua inglesa e em ambientes de alto recurso. Isso deixou uma lacuna significativa na compreensão de como essas decepções funcionam em outras partes do mundo, particularmente em regiões onde as línguas e culturas são distintas. No Nepal, onde a desinformação pode inflamar tensões políticas ou espalhar pânico durante desastres naturais, o problema é urgente. O contexto local é vital; uma legenda pode fazer referência a uma aldeia específica, a um oficial local ou a um evento regional que um sistema de língua inglesa jamais reconheceria como suspeito. Para abordar isso, um pesquisador chamado Sanjeev Khatiwada decidiu construir um novo tipo de banco de testes, projetado especificamente para a língua nepalesa e as formas únicas como a desinformação se espalha por lá.

O resultado é uma nova coleção de dados chamada NepOOC, o primeiro benchmark público de seu tipo para o nepali. Contém 1.090 pares de imagens e legendas, divididos igualmente entre postagens honestas e enganosas. As postagens enganosas foram cuidadosamente categorizadas em cinco tipos de mentiras: histórias completamente inventadas, legendas que são factualmente erradas, mas não sobre tempo ou lugar, imagens do tempo errado, imagens do local errado e imagens de pessoas erradas. Para garantir que os dados fossem confiáveis, vários especialistas revisaram os pares, e eles concordaram com a classificação das postagens enganosas com um alto grau de consistência. O conjunto de dados inclui exemplos do mundo real extraídos de relatórios de verificação de fatos, portais de notícias e arquivos de redes sociais, capturando a realidade caótica de como essas mentiras realmente aparecem no mundo real.

Com este novo conjunto de dados em mãos, o pesquisador testou cinco sistemas de computador diferentes para ver qual conseguia melhor detectar as mentiras. Esses sistemas variavam de simples leitores de texto a máquinas complexas que tentavam olhar tanto para a imagem quanto para as palavras ao mesmo tempo. O objetivo era ver se olhar para a imagem ajudava o computador a entender a mentira, ou se ler a legenda era suficiente. Os achados foram surpreendentes e claros. O sistema com melhor desempenho foi um modelo multimodal que combinava um analisador visual com um leitor de texto, mas ele não teve um desempenho superior a um sistema que apenas lia o texto. Na verdade, um modelo que olhava apenas para as palavras alcançou exatamente a mesma pontuação alta que o sistema mais complexo que olhava tanto para a imagem quanto para as palavras.

Os dados mostraram que a parte visual da imagem quase não ajudou a resolver o enigma. Quando os pesquisadores testaram sistemas que olhavam apenas para as imagens, ignorando o texto inteiramente, eles não tiveram um desempenho melhor do que o acaso. As próprias imagens, sendo autênticas, não continham pistas para o engano. A mentira estava inteiramente na história. O sistema baseado apenas em texto, que lia a legenda e a verificava contra seu conhecimento de mundo, foi capaz de identificar o descompasso com precisão quase perfeita. Isso sugere que, para este tipo específico de problema, nesta escala atual de dados, as palavras carregam toda a informação necessária. As características visuais, que são tão frequentemente o foco da pesquisa de inteligência artificial, foram essencialmente silenciosas neste contexto.

O estudo também explorou se tornar os sistemas de computador mais complexos ou especializados levaria a melhores resultados. Eles testaram diferentes tipos de redes neurais e tentaram adaptar modelos especificamente para o alfabeto Devanagari usado no nepali. Os resultados indicaram que esses ajustes arquitetônicos não fizeram uma diferença significativa. Um leitor de texto padrão e bem treinado funcionou tão bem quanto um especializado. O fator mais importante para o sucesso não foi a sofisticação da máquina, mas a quantidade de dados que ela tinha para aprender. Quando os pesquisadores testaram os sistemas com quantidades menores de dados de treinamento, os modelos mais complexos tiveram dificuldades, enquanto os modelos mais simples baseados em texto permaneceram constantes. Isso aponta para um caminho claro a seguir: a chave para uma detecção melhor não é construir algoritmos mais inteligentes, mas reunir mais exemplos dessas mentiras para ensinar os sistemas.

Este trabalho desafia uma suposição comum no campo da inteligência artificial, que frequentemente assume que combinar visão e linguagem sempre leva a um melhor desempenho. No caso da desinformação fora de contexto no Nepal, o componente visual era redundante. O engano era linguístico, enraizado nas afirmações específicas feitas sobre pessoas, lugares e eventos. O estudo conclui que, para línguas de baixo recurso e tipos específicos de desinformação, focar no texto e expandir o conjunto de dados é um caminho mais direto e eficaz para o progresso do que tentar projetar sistemas multimodais mais complexos. Ele destaca que, às vezes, a ferramenta mais poderosa é simplesmente uma melhor compreensão da história que está sendo contada.