The Overlooked Repetitive Lengthening Form in Sentiment Analysis

Título: A Forma Repetitiva de Alongamento (RLF) Ignorada na Análise de Sentimento

Autores: Lei Wang e Eduard Dragut (Temple University, EUA)

1. O Problema

A comunicação online é repleta de estilos informais (memes, emojis, gírias) que expressam opiniões e emoções de forma matizada. Embora os Modelos de Linguagem (LMs) tenham sido amplamente estudados para lidar com esses estilos, uma forma específica e enfática, chamada Forma Repetitiva de Alongamento (RLF - Repetitive Lengthening Form), foi negligenciada por anos.

A RLF refere-se ao fenômeno linguístico onde caracteres adicionais são adicionados à ortografia padrão de uma palavra para intensificar ou alterar seu significado (ex: "loooove" em vez de "love", ou "amazing!!!!" em vez de "amazing").

• Desafio: Não há conjuntos de dados especializados para RLF, impedindo a avaliação e melhoria dos LMs na compreensão dessas nuances.
• Questões de Pesquisa:
  1. A RLF é importante para a Análise de Sentimento (SA)?
  2. Os LMs conseguem compreender a RLF?

2. Metodologia

Os autores propõem uma abordagem composta por três pilares principais:

A. Criação do Dataset "Lengthening"

• É o primeiro conjunto de dados multido-mínio focado em RLF para SA, contendo 850.000 amostras.
• Fontes: Dados extraídos de 4 conjuntos públicos (Amazon Reviews, Yelp, TripAdvisor, Twitter) cobrindo 5 domínios (Livros, Eletrônicos, Restaurantes, Twitter, Hotéis).
• Processo de Extração: Um pipeline automatizado identifica documentos com RLF, segmenta em frases e extrai palavras com repetição de letras ou pontuação. As palavras são mapeadas para suas raízes (ex: "loooove" -> "love").
• Estatísticas: Aproximadamente 5,8% dos documentos nos datasets originais contêm RLF, chegando a mais de 13% em alguns domínios.

B. Framework ExpInstruct (Instruction Tuning Explicável)
Para melhorar o desempenho e a explicabilidade dos LLMs (Large Language Models) na tarefa de SA com RLF, os autores propõem o ExpInstruct, um framework de ajuste fino em duas etapas:

1. Geração de Scores de Importância de Palavras (WIS): O GPT-4 é instruído com Chain of Thought (CoT) para decompor a frase e atribuir scores de importância de sentimento (1-5) para cada palavra.
2. Ajuste Fino (Fine-tuning): Um modelo LLM de código aberto (LLaMA2) é ajustado usando um conjunto de instruções que combina duas tarefas:
   • Previsão de Sentimento (SA).
   • Explicação via WIS (prever os scores de importância das palavras).

• Objetivo: Permitir que modelos menores e de código aberto atinjam o nível do GPT-4 (zero-shot) com poucos dados de treinamento (apenas 1.600 amostras).

C. Abordagem Unificada para Quantificar Explicabilidade
O artigo propõe uma métrica unificada para comparar a explicabilidade de PLMs (Pre-trained Language Models) e LLMs:

• Para LLMs: Usa-se o método baseado em prompt (WIS gerado via CoT).
• Para PLMs: Usa-se o método baseado em occlusion (saliency), medindo a mudança na perda (loss) ao remover uma palavra.
• Normalização: Os scores são normalizados (min-max + L1) para calcular um Score de Explicabilidade ($S_{exp}$), que mede o quanto o modelo presta atenção às palavras RLF.

3. Resultados Principais

A. Importância da RLF para SA

• Desempenho: Frases contendo RLF consistentemente superam frases sem RLF em precisão (Accuracy) e F1-score, tanto em modelos zero-shot quanto fine-tuned.
• Correlação: A RLF atua como uma "assinatura" forte do sentimento do documento. Modelos ajustados no dataset Lengthening apresentaram ganhos de 7,6% em precisão e 4,5% em F1-score em nível de documento.
• Efeito de Tamanho: O ganho de desempenho é particularmente significativo em frases curtas (menos de 80 caracteres), comuns em redes sociais.

B. Compreensão da RLF por LMs

• PLMs vs. GPT-4 (Zero-shot): Modelos PLMs ajustados (RoBERTa, GPT-2, T5) superam o GPT-4 em zero-shot na tarefa de classificação (precisão), mas falham em explicabilidade. Eles tendem a acertar a classificação por "motivos errados" (não focam nas palavras RLF corretamente).
• ExpInstruct: O modelo LLaMA2 ajustado com o framework ExpInstruct conseguiu igualar o desempenho e a explicabilidade do GPT-4 (zero-shot) utilizando apenas 1.600 amostras de treinamento.
• Validação Humana: A correlação entre o score de explicabilidade calculado ($S_{exp}$) e a avaliação humana foi de 0,91, validando a métrica proposta.

4. Contribuições Chave

1. Conscientização: Destaque para a RLF como um estilo informal crucial e negligenciado na análise de sentimentos.
2. Dataset Lengthening: Introdução do primeiro dataset de grande escala (850k amostras) focado em RLF, derivado de fontes públicas.
3. Framework ExpInstruct: Uma abordagem custo-efetiva que permite que LLMs de código aberto (como LLaMA2) alcancem o nível do GPT-4 em desempenho e explicabilidade com poucos dados.
4. Métrica Unificada: Proposição de uma metodologia padronizada para quantificar e comparar a explicabilidade de diferentes tipos de modelos (PLMs e LLMs) em tarefas de RLF.

5. Significado e Impacto

• Análise de Conteúdo Online: A RLF é um indicador vital para a análise de sentimentos em mídias sociais, onde textos curtos e informais predominam. Ignorá-la pode levar a perda de nuances emocionais importantes.
• Eficiência de Modelos: O estudo demonstra que não é necessário usar modelos massivos e fechados (como GPT-4) para tarefas complexas de nuance linguística; modelos menores, devidamente instruídos e ajustados com poucos exemplos, podem ser igualmente eficazes e mais transparentes.
• Generalização: Embora o estudo foque no inglês, a metodologia é aplicável a outros idiomas onde o alongamento repetitivo é comum (ex: espanhol, romeno, chinês).

Em resumo, o trabalho preenche uma lacuna crítica na pesquisa de NLP, fornecendo dados, métodos e evidências de que a compreensão das nuances de alongamento repetitivo é essencial para sistemas de IA robustos e explicáveis na análise de sentimentos.