Resumo Técnico: XCOMPS – Um Benchmark Multilíngue de Pares Mínimos Conceituais

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades notáveis de compreensão de linguagem natural (NLU), uma questão fundamental permanece: os modelos compreendem genuinamente a semântica ou dependem de correlações estatísticas superficiais? Especificamente, não está claro se os LLMs possuem um mecanismo de raciocínio conceitual universal que transcende as fronteiras linguísticas. Trabalhos anteriores, como o conjunto de dados COMPS, avaliaram o raciocínio semântico usando pares mínimos, mas estavam limitados ao inglês, deixando em aberto a questão da generalização translinguística. Além disso, os métodos de avaliação existentes frequentemente dependem de prompting metalinguístico, que avalia a capacidade de um modelo de produzir saídas corretas (desempenho) em vez de suas representações internas subjacentes (competência).

Metodologia

Construção do Conjunto de Dados: XCOMPS

Os autores introduzem o XCOMPS, uma extensão multilíngue do conjunto de dados COMPS que cobre 17 idiomas (incluindo tipos analíticos, inflexionais e aglutinantes).

• Seleção de Conceitos: O conjunto de dados utiliza 521 conceitos e seus exemplos negativos do conjunto de dados COMPS original. Os pares negativos são categorizados em quatro tipos com base em sua relação com o conceito positivo:
  1. Taxonômico: Conceitos negativos compartilham uma categoria ampla, mas diferem em propriedades fundamentais (ex: torradeira vs. cafeteira).
  2. Sobreposição (Overlap): Conceitos negativos compartilham propriedades semânticas, mas carecem da propriedade específica sob avaliação.
  3. Coocorrência: Conceitos negativos aparecem em contextos semelhantes, mas não compartilham a propriedade alvo.
  4. Aleatório: Conceitos negativos são inteiramente não relacionados à propriedade alvo (ex: torradeira vs. chapim).
• Pipeline de Construção: Para garantir traduções de alta qualidade, os autores empregaram um pipeline de tradução interativo Humano-LLM:
  1. Tradução Semente: Especialistas humanos traduziram manualmente conceitos e propriedades do inglês para o alemão e chinês para servir como sementes de desambiguação (ex: distinguir "bat" como equipamento esportivo vs. animal).
  2. Expansão: LLMs (GPT-4o) traduziram os dados semente para os 15 idiomas restantes.
  3. Revisão Humana: Especialistas nativos revisaram e corrigiram manualmente as traduções para garantir precisão cultural e semântica, particularmente para línguas de baixos recursos.
  4. Geração de Sentenças: LLMs geraram pares de sentenças positivas e negativas fluentes baseadas nos conceitos e propriedades verificados.

Estrutura de Avaliação

O artigo avalia os LLMs usando três métodos distintos para distinguir entre desempenho e competência:

1. Prompting Metalinguístico (Meta): O modelo é explicitamente solicitado a escolher a sentença mais aceitável em um par mínimo. Isso mede o desempenho superficial.
2. Medição de Probabilidade Direta (Direta): As log-probabilidades do modelo para as sentenças aceitáveis vs. inaceitáveis são comparadas sem prompting explícito. Isso captura preferências implícitas.
3. Sondagem Neurolinguística (Neuro): Classificadores diagnósticos são treinados nas camadas ocultas das representações internas do modelo (usando pooling do último token) para determinar se o modelo codifica inerentemente as relações conceito-propriedade. Isso mede diretamente a competência.

Configuração Experimental

• Modelo: Os experimentos utilizam o Llama-3.1-8B-Instruct.
• Métricas: Para prompting e probabilidade, a acurácia é medida. Para sondagem, o F1 score (médio sobre cinco dobras de validação cruzada) é utilizado.

Principais Resultados

1. Variabilidade Cross-Linguística: A compreensão conceitual não é consistente entre idiomas. Embora os modelos performem bem em tarefas em inglês, sua capacidade de raciocínio deteriora-se significativamente em línguas de baixos recursos. O grau de deterioração varia inclusive entre línguas de baixos recursos, sugerindo que o raciocínio semântico não é universalmente estável nem igualmente suportado pelos corpora de treinamento.
2. Contrastes Distintos vs. Sutis: Os modelos se destacam ao distinguir pares conceito-propriedade que são visivelmente diferentes (ex: pares Aleatórios como "torradeira" vs. "chapim"). No entanto, o desempenho cai drasticamente quando os pares negativos compartilham similaridades semânticas sutis (ex: pares Taxonômicos ou de Sobreposição como "torradeira" vs. "cafeteira"). Isso sugere que os modelos podem depender de pistas conspícuas em vez de um raciocínio conceitual profundo.
3. Complexidade Morfológica: Existe uma correlação negativa entre complexidade morfológica e pontuações de raciocínio conceitual. Idiomas com maior complexidade (Aglutinante > Inflexionado > Analítico) geram pontuações mais baixas e exigem camadas mais profundas para um raciocínio conceitual bem-sucedido.
4. Convergência de Métodos: As medições de probabilidade direta e os resultados de sondagem neurolinguística mostram alta correlação, indicando que as medições de probabilidade direta acompanham de perto as representações internas dos modelos.

Significância e Contribuições

O artigo afirma que o XCOMPS fornece uma base robusta para avaliar as capacidades multilíngues de LLMs. A principal contribuição é a demonstração de que os LLMs carecem de um mecanismo de raccimento semântico universal que transcenda as fronteiras linguísticas.

• Dataset: Fornece o primeiro conjunto de dados de pares mínimos conceituais multilíngue cobrindo 17 idiomas tipologicamente diversos.
• Insight de Avaliação: Ao combinar prompting, probabilidade e sondagem, o trabalho destaca a lacuna entre a capacidade de um modelo de realizar uma tarefa (desempenho) e sua compreensão interna real (competência), particularmente através de diferentes idiomas.
• Implicações: Os resultados sugerem que as capacidades conceituais aprendidas em inglês não se transferem perfeitamente para idiomas com tipologias diferentes ou representação mais fraca nos dados de treinamento. Isso desafia a suposição de que os LLMs possuem uma compreensão conceitual agnóstica à língua.

Os autores reconhecem limitações, observando que o conjunto de dados não cobre todas as famílias linguísticas e que o processo de construção Humano-LLM pode introduzir inconsistências menores. No entanto, o trabalho estabelece um benchmark crítico para pesquisas futuras em raciocínio semântico multilíngue.