HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

Este artigo apresenta o HSSBench, um novo benchmark multilíngue com mais de 13.000 amostras e um pipeline de geração de dados colaborativo, projetado especificamente para avaliar e superar as limitações dos Modelos de Linguagem Grandes Multimodais (MLLMs) em tarefas de Humanidades e Ciências Sociais que exigem raciocínio interdisciplinar horizontal.

O essencial

Imagine que você tem um estudante muito inteligente, chamado "Robô-Professor", que leu quase todos os livros do mundo e consegue ver fotos, mapas e gráficos. Ele é ótimo em matemática, ciências exatas e programação. Se você perguntar a ele quanto é 2+2 ou como funciona um motor, ele responde na hora.

Mas, e se você perguntar a ele sobre a história, a cultura, a arte ou a economia de um país específico, olhando para uma foto antiga ou um quadro? É aqui que o Robô-Professor começa a tropeçar. Ele sabe os fatos, mas não consegue "sentir" o contexto, entender a ironia de uma charge política ou perceber o significado simbólico de um traje antigo.

Foi exatamente para testar essa "inteligência cultural" que os pesquisadores criaram o HSSBench.

Aqui está uma explicação simples do que é esse trabalho, usando analogias do dia a dia:

1. O Que é o HSSBench? (O "Exame de Humanidades")

Pense no HSSBench como um novo vestibular (prova de admissão universitária) feito especificamente para as Ciências Humanas e Sociais.

• O Problema: Até agora, os testes para Inteligência Artificial (IA) focavam muito em "exatas" (Matemática, Física, Código). Era como se só testássemos a capacidade do Robô-Professor de resolver equações, ignorando se ele entendia a literatura, a história ou a psicologia humana.
• A Solução: Os criadores do HSSBench montaram um "banco de provas" gigante com mais de 13.000 perguntas. Essas perguntas não são apenas texto; elas misturam imagens, gráficos, mapas e textos em 6 línguas diferentes (as línguas oficiais da ONU: inglês, chinês, francês, russo, espanhol e árabe).

2. Como eles criaram esse "Exame"? (A Cozinha de Receitas)

Criar perguntas de humanidades é difícil porque não existe uma única resposta "certa" como em matemática. É preciso contexto. Para isso, eles usaram uma cozinha colaborativa:

• Os Chefs (Especialistas Humanos): Eles trouxeram especialistas reais (historiadores, geógrafos, economistas) para escolher as imagens e criar as perguntas. Eles garantiram que a "receita" fosse autêntica.
• Os Auxiliares (Agentes de IA): Eles usaram robôs inteligentes para ajudar a organizar, traduzir e gerar milhares de variações dessas perguntas, acelerando o processo.
• O Degustador (Validação): Antes de o teste ser aplicado, especialistas e robôs verificaram se a pergunta fazia sentido, se a imagem estava relacionada à resposta e se não havia "pegadinhas" ou viés cultural.

3. As 6 Matérias do Exame

O HSSBench cobre seis grandes áreas, como se fossem disciplinas de uma faculdade:

1. Geografia: Entender mapas, clima e relevo.
2. Economia: Analisar gráficos de lucro, custos e mercados.
3. Cultura: Reconhecer costumes, rituais e tradições em fotos.
4. História: Entender o contexto de eventos passados através de imagens e textos.
5. Sociologia/Psicologia: Analisar comportamentos humanos e interações sociais.
6. Arte: Identificar estilos, simbolismos e técnicas em pinturas e esculturas.

4. O Resultado: O Robô-Professor Está "Reprovado"

Quando eles colocaram mais de 20 modelos de IA (incluindo os mais famosos e poderosos do mundo) para fazer esse teste, a surpresa foi grande:

• A Dificuldade: Mesmo os robôs mais avançados tiveram dificuldade. A maioria acertou menos de 60% das perguntas.
• O "Pulo do Gato": Quando os robôs tentavam "pensar passo a passo" (explicar o raciocínio antes de dar a resposta), às vezes eles pioravam! Eles começavam a alucinar (inventar fatos) ou se perder em detalhes, mostrando que ainda não entendem a "alma" da questão.
• A Lição: Isso prova que, embora as IAs sejam ótimas em lógica fria (STEM), elas ainda são "cegas" para a complexidade da experiência humana, da cultura e da história.

5. Por que isso importa? (O Futuro)

Imagine que você quer usar um robô para ajudar um museu a explicar quadros para turistas, ou para analisar notícias políticas em diferentes países. Se o robô não entende o contexto cultural, ele pode cometer erros graves ou ofensivos.

O HSSBench é como um espelho que mostra para a comunidade de tecnologia onde estão as falhas. O objetivo não é apenas criticar, mas inspirar novos robôs que sejam não apenas "calculadoras", mas verdadeiros "humanistas" capazes de entender o mundo com profundidade, empatia e contexto.

Em resumo: Os pesquisadores criaram um teste difícil e diversificado para ver se as IAs conseguem entender a "parte humana" do conhecimento. E a resposta foi: "Elas sabem muito, mas ainda precisam aprender a ser mais humanas."

Resumo técnico

1. O Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) demonstraram avanços significativos em diversas áreas, mas os benchmarks atuais para avaliação focam predominantemente em conhecimento geral e raciocínio passo a passo vertical típico das disciplinas STEM (Ciência, Tecnologia, Engenharia e Matemática).

O artigo identifica uma lacuna crítica na avaliação das Ciências Humanas e Sociais (HSS - Humanities and Social Sciences). Diferente das STEM, que utilizam raciocínio "vertical" (dedução lógica sequencial para uma única resposta correta), as HSS exigem:

• Raciocínio "Horizontal": Conexões interdisciplinares entre diferentes contextos.
• Integração Profunda: Fusão de conhecimento abstrato com representações visuais específicas.
• Interpretação Cultural-Histórica: Os símbolos e significados nas HSS dependem fortemente de contextos históricos e culturais, não apenas de sistemas simbólicos fixos.

O problema central é que os MLLMs atuais falham em realizar a transferência de conhecimento multimodal neste domínio. Eles conseguem reconhecer conceitos abstratos isoladamente, mas falham ao tentar associar esses conceitos a representações visuais específicas (ex: identificar um estilo de caligrafia histórica em uma imagem ou interpretar o significado cultural de um artefato).

2. Metodologia

Para abordar essa lacuna, os autores desenvolveram o HSSBench, um benchmark multilíngue de grande escala. A metodologia de construção e avaliação envolve:

A. Pipeline de Geração de Dados (VGP - Visual Question Generation Pipeline)

O dataset foi construído através de um pipeline colaborativo entre expertos humanos e agentes automatizados (multi-agent framework), dividido em três estágios:

1. Preparação do Dataset: Coleta de materiais brutos (textos e imagens) de fontes diversas, incluindo repositórios acadêmicos e imagens licenciadas, garantindo diversidade e evitando vazamento de dados.
2. Construção do Dataset:
   • Construção por Especialistas: Revisão e criação de novas perguntas baseadas em materiais de alta qualidade.
   • Construção por Multi-Agentes: Uso de agentes (resumidor, extrator, gerador de perguntas, casador de imagens) para gerar perguntas em escala, seguindo a lógica de anotação dos especialistas.
3. Validação:
   • Validação por Agente: Filtragem de redundâncias e verificação de dependência multimodal (garantir que a pergunta não possa ser respondida apenas pelo texto ou apenas pela imagem).
   • Validação por Especialistas: Confirmação de precisão, ausência de ambiguidade e verificação de viés cultural ou sensibilidade.

B. Estrutura do Dataset

• Escala: 13.152 amostras.
• Categorias: 6 categorias principais (Geografia, Arte, Cultura, Ciências Sociais, História, Economia) subdivididas em 45 tipos especializados.
• Multilíngue: Cobertura nas 6 línguas oficiais da ONU (Inglês, Chinês, Francês, Russo, Espanhol e Árabe).
• Formato: Perguntas de múltipla escolha (com um único formato de resposta unificado) e, para algumas amostras, perguntas abertas.

C. Configuração Experimental

• Modelos Avaliados: Mais de 20 MLLMs, incluindo modelos de código aberto (Qwen2.5-VL, InternVL, LLaVA, etc.) e modelos proprietários (GPT-4o, GPT-4.1).
• Estratégias de Prompt: Avaliação com e sem Chain-of-Thought (CoT), e em formatos de múltipla escolha vs. aberto.
• Análises Adicionais: Testes com opções de confusão ("Nenhuma das anteriores"), substituição de imagens por descrições textuais (geradas por IA e por humanos) e uso de RAG (Geração Aumentada por Recuperação).

3. Principais Contribuições

1. HSSBench: O primeiro benchmark dedicado e abrangente para avaliar capacidades de MLLMs especificamente no domínio das Ciências Humanas e Sociais, cobrindo 6 categorias e 45 subtipos em 6 idiomas.
2. Pipeline de Construção de Dados: Uma metodologia inovadora que combina a expertise de especialistas humanos com a escalabilidade de agentes de IA para gerar dados de alta qualidade, validados rigorosamente para evitar viés e garantir a necessidade de raciocínio multimodal.
3. Avaliação Multidimensional: Uma análise extensiva que não apenas mede a precisão, mas investiga como os modelos falham (alucinações, falha na extração de características visuais, dependência excessiva de opções de múltipla escolha).

4. Resultados Chave

• Desempenho Geral: Os MLLMs enfrentam desafios significativos no HSSBench. Mesmo os modelos mais avançados (como GPT-4.1 e Qwen2.5-VL-72B) apresentam acurácia frequentemente abaixo de 60% em tarefas complexas.
• Dificuldade por Categoria:
  • Economia: Foi a categoria mais difícil para todos os modelos, exigindo compreensão profunda de teorias e raciocínio complexo.
  • Geografia: Foi a categoria mais fácil, possivelmente devido à natureza mais factual e menos abstrata dos dados geográficos.
• Impacto do CoT (Chain-of-Thought): O uso de CoT nem sempre ajudou; em alguns casos, piorou o desempenho, exacerbando alucinações e levando o modelo a inferências incorretas durante o raciocínio passo a passo.
• Dependência de Opções: A performance cai drasticamente em perguntas abertas (sem opções de múltipla escolha), indicando que os modelos dependem muito das opções para reduzir o espaço de busca, em vez de raciocinar profundamente.
• Limitações Visuais: Quando as imagens foram substituídas por descrições textuais geradas por IA, a precisão caiu. No entanto, descrições feitas por especialistas melhoraram o desempenho, sugerindo que os modelos atuais falham em extrair automaticamente detalhes visuais cruciais para o contexto das HSS.
• RAG Ineficaz: A integração de RAG com corpora gerais (como Wikipedia) não melhorou consistentemente o desempenho, indicando que a recuperação de conhecimento específico de domínio e a integração complexa são necessárias.

5. Significado e Impacto

O HSSBench estabelece um novo padrão para a avaliação de inteligência artificial em domínios que exigem sensibilidade cultural, histórica e interdisciplinar.

• Mudança de Paradigma: O trabalho desafia a noção de que o raciocínio lógico-matemático (STEM) é o único indicador de inteligência avançada em MLLMs.
• Direção Futura: Os resultados indicam que a próxima geração de modelos precisará focar na internalização de conhecimento visual e textual de forma integrada, e não apenas na correlação superficial.
• Inclusão Global: Ao cobrir múltiplos idiomas e contextos culturais, o benchmark promove o desenvolvimento de modelos mais justos e menos enviesados culturalmente.

Em resumo, o HSSBench revela que, embora os MLLMs sejam proficientes em tarefas técnicas, eles ainda carecem da capacidade de "entender" o mundo humano através de suas representações visuais e contextos culturais, um passo essencial para a criação de uma Inteligência Artificial verdadeiramente geral e segura.