Resumo Técnico: Uma Linha de Base Reprodutível Multi-Arquitetura para Identificação de Metáfora em Nível de Token em Chinês

Declaração do Problema

Embora a metáfora seja onipresente na linguagem, a identificação computacional em nível de token de palavras relacionadas à metáfora em chinês, sob o framework do Procedimento de Identificação de Metáfora VU (MIPVU), permanece pouco explorada em comparação com o inglês. Pesquisas existentes em inglês estabeleceram linhas de base robustas utilizando labelers de sequência baseados em Transformer e arquiteturas especializadas como o MelBERT. No entanto, para o chinês, o Corpus de Metáfora Chinesa PSU (PSU CMC) — o único corpus amplamente disponível anotado com MIPVU — não foi sistematicamente avaliado com ajuste fino de codificadores modernos, fusão léxica estilo MelBERT ou Grandes Modelos de Linguagem (LLMs) ajustados por instrução, sob um protocolo compartilhado e reprodutível. Além disso, existe uma lacuna crítica de recursos: o MelBERT depende de representações de significado básico (tipicamente definições do WordNet para inglês), mas nenhum recurso aberto equivalente em chinês estava disponível.

Metodologia

O artigo estabelece uma linha de base reprodutível comparando três famílias distintas de modelos no PSU CMC, utilizando uma divisão fixa de arquivos em 70/10/20 para treino/validação/teste em cinco sementes aleatórias.

1. Construção de Recursos: Embeddings de Significado Básico MCD7

Para permitir a adaptação do MelBERT para o chinês, os autores construíram um recurso de significado básico a partir do Dicionário de Chinês Moderno, 7ª edição (MCD7).

• Pipeline: 74.823 entradas de dicionário foram analisadas para extrair o sentido mais concreto/principal (tipicamente a primeira definição). Referências cruzadas foram resolvidas recursivamente.
• Codificação: Textos de significado básico foram codificados em vetores de 1024 dimensões usando Chinese RoBERTa-wwm-ext-large.
• Cobertura: O recurso cobre 71,51% dos tokens únicos no PSU CMC. Tokens fora do vocabulário recebem um fallback de vetor zero.
• Lançamento: Os embeddings e pipelines são disponibilizados; o texto original das definições não é redistribuído devido a direitos autorais.

2. Arquiteturas de Modelo

O estudo avalia quatro configurações em três famílias de modelos:

• Ajuste Fino de Codificador (RoBERTa): Classificação padrão de tokens usando Chinese RoBERTa-wwm-ext-large com uma camada linear.
• Adaptação MelBERT: Uma extensão do RoBERTa incorporando dois canais paralelos fundamentados na teoria da metáfora:
  • Canal MIP: Contrasta a representação contextual contra o vetor de significado básico derivado do MCD7.
  • Canal SPV (Violação de Preferência Seletiva): Contrasta o contexto local com a representação do token para sinalizar anomalias.
  • Variantes: Completo (MIP + SPV + Fusão), apenas MIP e apenas SPV.
• Geração Ajustada por Instrução (Qwen): Qwen3.5-9B ajustado com QLoRA (quantização de 4 bits + adaptadores de baixo rank). A tarefa é enquadrada como um problema de geração onde o modelo produz uma lista JSON estruturada de tokens de metáfora. Seis formulações de tarefa foram testadas, sendo a "Extração Gerativa JSON" (Q2) selecionada como a melhor.

3. Protocolo Experimental

• Métrica: F1 da classe positiva (Test pos-F1) é a métrica principal devido ao desequilíbrio de classes (9,16% de tokens positivos).
• Sementes: Cinco sementes fixas ({42, 123, 2024, 7, 31415}) são usadas para todos os modelos para garantir comparação justa.
• Hardware: Uma única NVIDIA RTX 5090.

Principais Resultados

Comparação de Desempenho

• Melhor Desempenho: MelBERT (apenas MIP) alcançou o desempenho mais alto com um F1 positivo de teste de 0,7281 ± 0,0050.
• Comparação:
  • MelBERT Completo (MIP+SPV): 0,7270 ± 0,0069 (marginalmente inferior ao apenas MIP).
  • RoBERTa Puro: 0,7142 ± 0,0121.
  • Qwen3.5-9B (QLoRA): 0,6157 ± 0,0113.
• Lacuna Gerativa: A linha de base gerativa do Qwen fica atrás dos modelos baseados em codificadores em aproximadamente 11 pontos absolutos de F1.

Descobertas Principais

1. Ineficácia do Canal SPV em Chinês: Ao contrário dos resultados em inglês, onde o SPV auxilia o desempenho, o canal SPV em chinês não fornece um sinal positivo confiável. A configuração apenas MIP supera a configuração Completa e exibe variância de semente significativamente menor (0,0050 vs. 0,0069). Os autores hipotetizam que isso se deve à dominância de metáforas convencionais em chinês, onde os pares metáfora-contexto são frequentes e não desencadeiam violações seletivas.
2. Assimetria Precisão-Recall em LLMs: A linha de base Qwen sofre principalmente de baixo recall (0,5526) em comparação com os codificadores, mantendo precisão comparável. Isso sugere que modelos generativos fazem compromissos discretos que os levam a descartar casos ambíguos ou limítrofes, uma limitação exacerbada pela adaptação de baixo rank (QLoRA).
3. Sensibilidade ao Formato: Várias formulações de tarefa do Qwen falharam devido ao design e não à capacidade. Especificamente, a tagagem BIO (Q4) falhou porque as metáforas chinesas no PSU CMC são predominantemente de token único (tornando a tag "I-" inútil), e a geração estruturada com janelas de contexto curtas (Q8 v1) falhou devido ao truncamento de tokens de supervisão.
4. Dificuldade de Registro: O desempenho varia por registro, sendo a ficção a mais difícil (menor F1, maior variância) e o acadêmico o mais fácil. Isso correlaciona-se com a densidade e a novidade da metáfora; a ficção contém metáforas mais novas e dependentes do contexto.

Contribuições e Significado

O artigo reivindica três contribuições primárias:

1. Uma Linha de Base Reprodutível: Fornece a primeira linha de base sistemática e multi-arquitetura para identificação de metáfora em nível de token em chinês no PSU CMC, incluindo código completo, manifestos de divisão e saídas por semente.
2. Recurso de Significado Básico MCD7: Introduz um recurso novo derivado do autoritativo Dicionário de Chinês Moderno, permitindo fusão léxica estilo MelBERT em chinês pela primeira vez.
3. Insights Empíricos:
   • Demonstra que o canal SPV não é benéfico para a identificação de metáfora em chinês sob MIPVU.
   • Destaca as limitações específicas dos atuais LLMs ajustados por instrução (especificamente Qwen adaptado com QLoRA) para tarefas de nível de token fino, notando um viés favorável à precisão.
   • Identifica que falhas na formulação de tarefas generativas são frequentemente devidas ao design do formato (por exemplo, tags BIO para fenômenos de token único) e não à capacidade do modelo.

Os autores posicionam este trabalho como um "ponto de referência comum" para pesquisas futuras, instando que futuros sistemas comparem-se contra essas configurações específicas e protocolos de semente em vez de estimativas informais. Notam modestamente que, embora não esperem que LLMs ajustados com QLoRA fechem a lacuna com os codificadores imediatamente, trabalhos futuros poderiam explorar a integração de MelBERT multi-senso ou paradigmas híbridos combinando precisão de codificador com recall de LLM.