Do We Still Need Fine Tuning? Turkish Sentiment Analysis in the Era of Large Language Model

Resumo Técnico: Ainda Precisamos de Ajuste Fino? Análise de Sentimento em Turco na Era dos Grandes Modelos de Linguagem

Definição do Problema
Este estudo investiga se o ajuste fino supervisionado (supervised fine-tuning) continua sendo necessário para a análise de sentimento em turco na era dos Grandes Modelos de Linguagem (LLMs). Embora os LLMs que seguem instruções ofereçam capacidades de zero-shot e few-shot, sua confiabilidade em tarefas de sentimento de granularidade fina — especificamente aquelas que exigem uma distinção de três classes (positivo, negativo e neutro) — permanece incerta. A pesquisa aborda uma lacuna nos recursos de PLN (Processamento de Linguagem Natural) para o turco, onde trabalhos anteriores estabeleceram a eficácia de modelos baseados em BERT e supervisionados, mas o desempenho de LLMs via prompting em avaliações realistas de e-commerce multiclasse não foi sistematicamente comparado. Um desafio central identificado é a classe "neutra", que frequentemente envolve descrições fatuais, baixa avaliatividade ou afeto misto, tornando-a mais difícil de classificar do que as polaridades binárias.

Metodologia
Os autores conduziram um estudo comparativo controlado utilizando um conjunto de dados de 6.367 avaliações de e-commerce em turco, anotadas em três categorias de sentimento: negativo (0), neutro (1) e positivo (2). O conjunto de dados foi dividido em 80% para treinamento e 20% para teste (1.274 instâncias).

A configuração experimental avaliou três abordagens distintas no mesmo particionamento de teste:

1. Aprendizado de Máquina Clássico: Regressão Logística, Máquinas de Vetores de Suporte (SVM), Random Forest e Naive Bayes, utilizando recursos TF-IDF (máximo de 5.000 recursos).
2. Modelos com Ajuste Fino Supervisionado: Modelos Transformer pré-treinados, incluindo BERTurk (32k e 128k Cased) e Turkish ELECTRA, ajustados finamente com uma taxa de aprendizado de $2\times10^{-5}$, 5 épocas e um tamanho de lote (batch size) de 32.
3. Grandes Modelos de Linguagem via Prompting: Sete LLMs de propósito geral (Gemma2:9B, Gemma3:27B, GPT-OSS:20B, Llama 3.1:8B, Magibu:11B e Qwen3:32B) avaliados em um cenário de zero-shot usando um prompt padronizado e parâmetros de decodificação fixos (temperatura 0.1, top_p 1).

O desempenho foi medido usando acurácia, precisão, revocação (recall) e F1-score. O estudo também incluiu uma reanálise binária (excluindo instâncias neutras) para isolar a dificuldade da classe neutra.

Principais Resultados

• Desempenho Geral: Os modelos BERTurk com ajuste fino alcançaram o maior desempenho. O BERTurk Cased 128k atingiu uma acurácia de 0,837 e um F1 ponderado de 0,834. Isso superou significativamente o melhor LLM via prompting, o Qwen3:32B (0,773 de acurácia), por aproximadamente 6,4 pontos percentuais, representando uma redução de ~28% nos erros em comparação com a base de LLM mais forte.
• O Desafio da Classe Neutra: A principal fonte de erro foi a classe neutra (22,6% do conjunto de teste). Enquanto os modelos BERTurk alcançaram pontuações de revocação de neutros de aproximadamente 0,60, a maioria dos LLMs teve dificuldades significativas (por exemplo, Qwen3:32B com 0,312, Llama 3.1:8B com 0,160).
• Tendência de Polarização: Muitos LLMs exibiram um forte viés de colapsar a classe neutra em categorias polarizadas. Por exemplo, o Llama 3.1:8B mapeou 70,1% das instâncias neutras reais para a classe positiva, e o Magibu:11B mapeou 60,8% para positiva.
• Desempenho Binário vs. Ternário: Quando as instâncias neutras foram removidas para criar uma tarefa binária, o desempenho dos LLMs melhorou dramaticamente (por exemplo, o Qwen3:32B subiu para 0,908 de acurácia). Em contraste, o modelo BERTurk com ajuste fino mostrou um ganho mais modesto (0,837 para 0,904). Isso sugere que os modelos com ajuste fino codificam inerentemente a estrutura de decisão ternária, enquanto os LLMs dependem mais fortemente de pistas de polaridade grosseiras que se tornam suficientes apenas quando a fronteira neutra é removida.

Principais Contribuições

1. Benchmark Empírico: O estudo fornece uma comparação rigorosa de abordagens clássicas, de ajuste fino e de prompting especificamente para análise de sentimento ternária em turco, destacando que o ajuste fino supervisionado continua sendo superior neste domínio específico.
2. Valor Diagnóstico da Classe Neutra: O artigo demonstra que a classe neutra serve como um "teste de estresse" crítico para a competência do modelo. O alto desempenho em tarefas binárias pode mascarar a incapacidade de um modelo de distinguir sentimentos matizados e não polarizados.
3. Insight Metodológico: Os autores argumentam que avaliações que dependem apenas de distinções positivo-negativo podem superestimar a competência de LLMs via prompting ao obscurecer falhas nas partes interpretativamente mais exigentes do espaço de rótulos.

Significância e Alegações
O artigo afirma que, para a classificação de sentimento em turco realista envolvendo uma categoria neutra, o ajuste fino supervisionado é atualmente mais eficaz do que o prompting zero-shot com LLMs de propósito geral. Os autores postulam que a vantagem dos modelos com ajuste fino reside não meramente na acurácia bruta, mas em sua capacidade de alinhar-se com o esquema de anotação específico e preservar a estrutura ternária completa da tarefa.

As descobertas sugerem que, embora os LLMs sejam competitivos na detecção de polaridade grosseira, eles degradam substancialmente em configurações de três classes ao colapsar avaliações neutras em categorias polarizadas. Consequentemente, o estudo conclui que, em cenários realistas onde a granularidade da anotação inclui uma classe neutra, o ajuste fino especializado continua sendo necessário para alcançar um desempenho robusto, e que a inclusão da classe neutra é crucial para uma avaliação válida de sistemas de análise de sentimento.