Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study

Este estudo apresenta um pipeline assistido por LLM que converte quatro protocolos de identificação de metáforas em scripts de regras executáveis e auditáveis, demonstrando que a escolha do protocolo é a principal fonte de variação nos resultados e que essa abordagem garante transparência total e desempenho competitivo na identificação de metáforas em chinês.

O essencial

Imagine que você é um detetive tentando descobrir quando alguém está usando uma metáfora (uma figura de linguagem) em vez de estar falando literalmente. Por exemplo, quando alguém diz "o tempo é dinheiro", não estamos falando de moedas, mas de como valorizamos o tempo.

Até hoje, a maioria dos computadores que faz isso funciona como uma caixa preta mágica. Você joga um texto dentro, e a máquina diz: "Sim, é metáfora!" ou "Não, é literal!". Mas ela nunca explica o porquê. É como um juiz que dá uma sentença sem mostrar a lei que usou. Isso é um problema, especialmente para o chinês, que não tem as mesmas "pistas" gramaticais que o inglês ou o português.

Os autores deste artigo criaram uma solução diferente. Em vez de uma caixa preta, eles construíram uma linha de montagem transparente, onde cada passo é visível e auditável. Eles usaram Inteligência Artificial (LLM) não para "adivinhar" a resposta, mas para escrever as regras de um manual de instruções que o computador segue passo a passo.

Aqui está como eles fizeram isso, usando analogias simples:

1. Os Quatro Detetives (Protocolos)

Em vez de ter apenas um detetive, eles criaram quatro equipes diferentes, cada uma com uma especialidade única para caçar metáforas. Eles chamaram isso de "Protocolos":

• Protocolo A (O Dicionário Rigoroso): Este detetive olha para cada palavra individualmente. Ele pergunta: "Qual é o significado básico e físico desta palavra? O significado aqui é diferente, mas ainda faz sentido se compararmos com o básico?" É como verificar se a palavra "banco" está sendo usada para um lugar de sentar ou para uma instituição financeira.
• Protocolo B (O Cartógrafo de Ideias): Este detetive não olha para palavras soltas, mas para a estrutura da frase. Ele tenta desenhar um mapa: "Quem é o protagonista (o que está sendo descrito)? Quem é o veículo (com o que está sendo comparado)? E qual é o terreno comum entre eles?" É como entender que "a vida é uma jornada" conecta a ideia de "vida" com "caminhar".
• Protocolo C (O Detetive de Emoções): Este foca no sentimento. Ele pergunta: "A emoção aqui bate com o que a palavra significa literalmente?" Se alguém diz "ele estava furioso como um vulcão", a palavra "vulcão" traz uma carga emocional de explosão que não se encaixa literalmente em uma pessoa. Essa "incongruência" emocional sinaliza uma metáfora.
• Protocolo D (O Caçador de "Como"): Este é o mais específico. Ele só procura frases que usam palavras de comparação explícitas, como "como", "tal qual" ou "parecido com". É como procurar apenas por frases que começam com "Ele é tão forte como um leão".

2. A Grande Descoberta: O Manual é Mais Importante que o Detetive

O resultado mais surpreendente do estudo foi descobrir que o método de investigação importa muito mais do que a inteligência do computador.

Quando eles testaram esses quatro detetives no mesmo texto chinês, eles descobriram algo chocante:

• O Protocolo B (Cartógrafo) e o Protocolo C (Emoção) quase sempre concordavam entre si (98% de acordo). Eles encontravam as mesmas metáforas.
• Mas o Protocolo A (Dicionário) e o Protocolo D (Caçador de "Como") quase nunca concordavam com os outros. O Protocolo A via metáforas que os outros ignoravam (como expressões muito comuns que os nativos nem percebem como figuradas), e o Protocolo D ignorava quase tudo que não fosse uma comparação explícita.

A analogia: Imagine que você quer contar quantos "carros" existem na rua.

• O Detetive A conta qualquer coisa com quatro rodas (incluindo carrinhos de bebê e carrinhos de compras).
• O Detetive B só conta carros que têm motor e estão em movimento.
• O Detetive D só conta carros vermelhos.
  Se você mudar o Detetive, o número muda drasticamente, não importa o quão inteligente seja o Detetive. O estudo mostrou que a escolha do "manual de regras" (o protocolo) causa mais diferença nos resultados do que a escolha do modelo de IA.

3. Por que isso é revolucionário? (A Transparência)

A grande vantagem desse sistema é que ele é totalmente auditável.

• Reprodutibilidade: Se você rodar o sistema duas vezes com o mesmo texto, ele dará exatamente o mesmo resultado. Não há "sorte" ou "alucinação" aleatória.
• Correção: Se o sistema errar, você pode abrir o manual, ver exatamente qual passo falhou (ex: "o computador confundiu o significado básico da palavra") e corrigir a regra. É como editar um código de computador, não como tentar reeducar uma caixa preta.
• Explicação: Para cada decisão, o sistema gera uma justificativa escrita em linguagem humana, explicando por que aquela palavra foi marcada como metáfora.

Conclusão Simples

Este trabalho nos ensina que, para entender a linguagem figurada (especialmente em chinês), não basta ter um computador superinteligente que "adivinha" a resposta. Precisamos de sistemas transparentes que sigam regras claras e explicáveis.

Os autores mostram que, embora um sistema transparente possa não ser o "campeão de pontuação" em testes cegos (como um modelo treinado apenas para acertar), ele é muito mais útil para educadores, linguistas e para a ciência, porque nos diz como e por que a máquina chegou àquela conclusão. É a diferença entre receber uma resposta mágica e receber uma aula de lógica.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study", apresentado em português.

1. O Problema

A identificação de metáforas é uma tarefa fundamental no processamento de linguagem figurativa, mas a maioria das abordagens computacionais atuais opera como "caixas-pretas" (classificadores opacos baseados em modelos de linguagem pré-treinados). Esses modelos, embora precisos, não oferecem explicações estruturadas sobre por que uma expressão foi julgada como metafórica.

Esse "gap de interpretabilidade" é particularmente crítico para o chinês devido a três desafios específicos:

1. Falta de pistas morfológicas: Diferente de línguas indo-europeias, o chinês não possui flexões ou padrões derivacionais que indiquem superfícialmente o uso metafórico; a distinção depende quase inteiramente do contexto e do conhecimento de mundo.
2. Diversidade de fenômenos: A linguagem figurativa chinesa abrange metáforas conceituais, símil, metonímia e figuras de fala específicas da cultura, que não se mapeiam facilmente em frameworks de anotação desenvolvidos para o inglês.
3. Recursos limitados: Existem poucos recursos anotados e eles são fragmentados entre esquemas de anotação incompatíveis.

Além disso, o uso recente de Grandes Modelos de Linguagem (LLMs) tende a tratá-los como "raciocinadores monolíticos", onde a identificação e a explicação ocorrem em uma única etapa, dificultando a atribuição de erros a passos específicos de raciocínio.

2. Metodologia

Os autores propõem uma arquitetura alternativa que separa o protocolo de identificação do modelo. Em vez de usar o LLM como um classificador final, eles utilizam o LLM para gerar e executar scripts de regras (rule scripts) que operacionalizam quatro protocolos de identificação de metáforas distintos.

O sistema é um pipeline modular e determinístico composto por cinco etapas:

1. Pré-processamento: Segmentação de texto, marcação de classe gramatical (POS) e normalização.
2. Seleção de Candidatos: Filtragem específica para cada protocolo (ex: palavras de conteúdo para análise lexical, frases com marcadores de comparação para símil).
3. Análise Semântica: O LLM é chamado de forma restrita (com prompts específicos e temperatura 0) para realizar tarefas sub-estruturadas, como recuperar significados básicos vs. contextuais, extrair triplos (tenor-veículo-fundamento) ou avaliar valência emocional.
4. Classificação: Regras determinísticas aplicam critérios lógicos à saída estruturada do LLM para tomar a decisão final (metáfora ou não).
5. Geração de Racional: Cada decisão é acompanhada de uma explicação estruturada (em JSON) que rastreia o caminho do raciocínio.

Os quatro protocolos implementados são:

• Protocolo A (MIP/MIPVU): Identificação lexical baseada no contraste entre significado básico e contextual.
• Protocolo B (CMDAG): Identificação baseada em mapeamento conceitual (extração de tenor, veículo e fundamento).
• Protocolo C (Emoção): Detecção baseada em incongruência afetiva (discrepância entre a carga emocional literal e figurativa).
• Protocolo D (Símil): Identificação focada em construções de comparação explícita (marcadores como "como", "tal qual").

3. Principais Contribuições

• Primeiro Sistema Operacionalizável para Múltiplos Protocolos: Implementação de quatro protocolos teóricos distintos como scripts de regras executáveis e auditáveis para o chinês, garantindo reprodutibilidade determinística.
• Comparação Trans-Protocolo: Realização da primeira comparação abrangente entre diferentes protocolos de identificação de metáforas no chinês, avaliando sete conjuntos de dados diversos.
• Framework de Avaliação de Interpretabilidade: Proposição de uma métrica de três dimensões para avaliar a transparência do sistema:
  1. Correção do Racional: O quanto a explicação reflete a evidência linguística correta.
  2. Determinismo: A capacidade de reproduzir exatamente o mesmo resultado.
  3. Editabilidade: A facilidade com que humanos podem modificar as regras para corrigir erros.
• Código Aberto: Liberação do código, implementações de protocolos e scripts de avaliação para pesquisa reprodutível.

4. Resultados Chave

Desempenho e Variação de Protocolo:

• A escolha do protocolo foi identificada como a maior fonte de variação nos resultados, superando até mesmo a escolha do modelo.
• Discrepância Extrema: A concordância entre os protocolos variou drasticamente. O Protocolo B (Mapeamento Conceitual) e o Protocolo C (Emoção) apresentaram concordância quase perfeita (Kappa = 0,986), sugerindo que eles identificam essencialmente o mesmo subconjunto de metáforas. Em contraste, a concordância entre o Protocolo A (MIP) e o Protocolo D (Símil) foi quase nula (Kappa = 0,001).
• Desempenho do Protocolo A: No nível de token (conjunto PSU CMC), o Protocolo A alcançou um F1 de 0,472. Isso é superior à abordagem zero-shot do GPT-4 (0,43) e inferior a modelos BERT ajustados (fine-tuned) (0,65), mas oferece transparência total.
• Precisão vs. Recall: O Protocolo D (Símil) teve alta precisão (0,909) mas recall quase zero (0,009) em dados gerais, confirmando que símeis explícitos são apenas uma pequena fração das metáforas.

Avaliação de Interpretabilidade:

• 100% Determinismo: O pipeline produziu resultados idênticos em execuções repetidas (com as mesmas saídas do LLM), eliminando a aleatoriedade comum em classificadores neurais.
• Correção de Racional: Variou de 0,40 (Protocolo B, difícil extração de "fundamento") a 0,87 (Protocolo D, identificação de símil).
• Editabilidade: Variou de 0,80 a 1,00, demonstrando que os scripts podem ser modificados por humanos para corrigir erros sistemáticos sem necessidade de retreinamento do modelo.

Análise de Erros:

• Os erros principais incluíam: recuperação incorreta de significados básicos (Protocolo A), falha na extração do "fundamento" implícito (Protocolo B), ambiguidade na valência emocional (Protocolo C) e confusão entre comparações literais e figurativas (Protocolo D).

5. Significado e Conclusão

O estudo demonstra que a "identificação de metáforas" não é uma tarefa unitária, mas uma família de tarefas cujos resultados dependem criticamente da operacionalização teórica escolhida.

A principal contribuição do trabalho é a demonstração de que arquiteturas baseadas em scripts de regras assistidas por LLM conseguem desempenho competitivo enquanto mantêm transparência total. Isso permite que pesquisadores e educadores entendam o porquê de uma decisão e corrijam o sistema de forma direcionada.

Os autores argumentam por uma mudança de paradigma no campo: em vez de buscar apenas F1 mais altos em benchmarks únicos, a comunidade deve priorizar a especificação explícita dos protocolos de identificação, a avaliação através de múltiplos frameworks teóricos e a transparência interpretável, especialmente para línguas complexas como o chinês.