Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

1. Problema e Motivação

O artigo investiga a dificuldade persistente de Modelos de Linguagem Grandes Multimodais (MLLMs) em processar e utilizar quantificadores (palavras como "alguns", "muitos", "a maioria", "poucos") de forma semelhante aos humanos. Embora a literatura anterior tenha identificado falhas na quantificação, as causas exatas permanecem obscuras, pois o fenômeno envolve a interseção complexa entre lógica, pragmática, cognição numérica e percepção visual.

O estudo busca preencher lacunas na literatura ao explorar três aspectos fundamentais da quantificação humana que ainda não foram testados em MLLMs:

1. A organização mental de quantificadores em escalas lexicais (relações de implicação escalar).
2. Os intervalos de uso e valores prototípicos (como os humanos definem os limites contextuais de cada quantificador).
3. Os vieses do sistema de número aproximado humano (como a densidade, espaçamento e tamanho dos objetos afetam a estimativa numérica).

Além disso, o trabalho questiona se essas limitações são específicas de certos tipos de modelos (modelos de "raciocínio" vs. modelos de "instrução") e se os padrões observados em inglês se mantêm em línguas tipologicamente diversas.

2. Metodologia

O estudo foi conduzido como um experimento controlado envolvendo tanto participantes humanos quanto MLLMs.

• Tarefa Experimental: Os participantes (humanos e modelos) foram apresentados a estímulos visuais contendo quadrados pretos e círculos brancos em proporções variadas (de 0% a 100% de quadrados).
• Atribuições:
  1. Escolher o quantificador que melhor descrevia a imagem (ex: "poucos", "alguns", "muitos", "a maioria").
  2. Estimar a proporção aproximada de quadrados na imagem (tarefa de estimativa numérica).
• Participantes Humanos: 240 participantes (40 por língua) recrutados via Prolific, falando seis línguas: Inglês, Grego, Russo, Espanhol, Italiano e Catalão.
• Modelos de IA (MLLMs): Foram testados 5 modelos, divididos em duas categorias:
  • Modelos de Instrução (Instruct): GPT-4o, Gemma 3, Molmo 2.
  • Modelos de Pensamento/Raciocínio (Thinking): o4-mini, GLM-4.6V-thinking.
• Controles: As imagens foram geradas com objetos de tamanho constante e posicionamento pseudo-aleatório para evitar vieses posicionais. A temperatura foi definida como 0 para garantir consistência.

3. Contribuições Principais

• Análise Multilíngue: É um dos primeiros estudos a investigar a quantificação em MLLMs além do inglês, incluindo línguas de famílias linguísticas distintas (Eslava, Helênica, Românica e Germânica).
• Comparação de Arquiteturas: Contrasta diretamente modelos com capacidades de raciocínio aprimoradas (via Reinforcement Learning em problemas verificáveis) contra modelos de propósito geral.
• Decomposição da Falha: Separa a falha dos modelos em duas etapas cognitivas distintas: (a) a estimativa da quantidade numérica (sistema de número aproximado) e (b) o mapeamento dessa quantidade para o conceito semântico do quantificador.
• Dados Empíricos Robustos: Fornece uma análise estatística detalhada (regressões mistas lineares e multinomiais) sobre escalas lexicais, intervalos de interquartis (IQR) e valores modais de uso.

4. Resultados Chave

A. Sistema de Número Aproximado (Estimativa Numérica)

• Humanos: Mostraram alta precisão na estimativa da proporção de objetos.
• Modelos de Pensamento (Thinking): Desempenho superior aos modelos de instrução, aproximando-se mais dos humanos, embora ainda com desvios.
• Modelos de Instrução (Instruct): Tendência a subestimar significativamente a proporção de quadrados quando esta era superior a 50%.
• Conclusão: Modelos com treinamento em raciocínio são melhores em tarefas numéricas, sugerindo que parte da falha na quantificação reside na percepção visual/numérica.

B. Produção de Quantificadores e Escalas Lexicais

• Ordenação de Escalas:
  • Humanos: Seguem consistentemente a escala <poucos, alguns, muitos, a maioria> na maioria das línguas.
  • Modelos de Pensamento: Conseguem ordenar os quantificadores de forma semelhante à escala humana, mas exibem variações cruzadas entre línguas que não existem em humanos (ex: o modelo GLM-4.6V altera a preferência de "alguns" vs. "muitos" dependendo da língua).
  • Modelos de Instrução: Frequentemente falham em manter a ordem lógica da escala. Por exemplo, em alguns casos, usam "a maioria" para proporções menores do que "muitos", violando definições teóricas de conjuntos.
• Intervalos de Uso e Prototipicidade:
  • Existem diferenças críticas nos valores modais (o ponto mais prototípico de uso). Para humanos, "a maioria" é usada tipicamente em 91-100%. Para os modelos (tanto de pensamento quanto de instrução), o pico de uso cai para 51-70%.
  • Os Intervalos de Interquartis (IQR) dos modelos são frequentemente muito mais estreitos ou amplos que os humanos, indicando uma dificuldade em capturar os limites contextuais flexíveis (o valor $n$ de limiar) que os humanos usam.

C. Efeito da Língua

• Não há um padrão centralizado único; os modelos exibem representações internas diferentes para os mesmos quantificadores em línguas diferentes.
• Contrariando expectativas, o inglês não foi a língua de melhor desempenho.
• Os quantificadores "muitos" (many) e "alguns" (some) foram consistentemente os mais difíceis para todos os modelos, independentemente da língua, sugerindo uma falha fundamental na codificação semântica desses termos específicos.

5. Significado e Conclusão

O estudo conclui que os MLLMs, mesmo os modelos de "pensamento" mais avançados, não possuem uma representação semântica e pragmática da quantificação que seja cognitivamente plausível em relação aos humanos.

• Causa da Falha: As dificuldades parecem derivar da abordagem semântica distribucional dos modelos, que captura bem correlações estatísticas superficiais, mas falha em capturar a lógica independente do contexto e os vieses cognitivos humanos (como o sistema de número aproximado).
• Limitações do Treinamento: O Reinforcement Learning (RL) usado nos modelos de pensamento melhora a precisão numérica e a ordenação de escalas, mas é insuficiente para aprender a variabilidade intra-falante e os limites pragmáticos sutis (implicaturas escalares) que os humanos usam naturalmente.
• Implicações Futuras: O trabalho sugere que, para que os MLLMs atuem como agentes semânticos e pragmáticos robustos, é necessário desenvolver arquiteturas ou métodos de treinamento que integrem explicitamente a lógica de conjuntos, a cognição numérica aproximada e a variabilidade pragmática, indo além do reconhecimento de padrões estatísticos.

Em suma, a quantificação revela uma lacuna profunda entre a capacidade de processamento estatístico dos MLLMs e a compreensão linguística e cognitiva genuína dos humanos.