Label-Consistent Data Generation for Aspect-Based Sentiment Analysis Using LLM Agents

1. O Problema

A Análise de Sentimento Baseada em Aspectos (ABSA) visa identificar termos de aspecto em um texto e determinar o sentimento expresso em relação a cada um. Apesar de seu valor em aplicações como análise de feedback de clientes, a ABSA enfrenta desafios significativos:

• Custo de Anotação: Requer anotações em nível de aspecto, que são finas, caras e limitadas em cobertura.
• Generalização: Os modelos frequentemente falham em combinações raras de aspecto-sentimento e variações linguísticas específicas de domínio.
• Limitações da Geração Atual: Métodos recentes que utilizam Grandes Modelos de Linguagem (LLMs) para geração de dados sintéticos dependem majoritariamente de prompting (instrução única). Isso resulta frequentemente em inconsistências de rótulos, diversidade estrutural limitada e falha no tratamento de casos extremos (corner cases), onde o modelo gera o texto correto, mas com polaridade ou termos de aspecto errados.

2. Metodologia

Os autores propõem um método de aumentação de dados agêntica que utiliza uma arquitetura multi-agente baseada no framework ReAct (Reason + Act) para gerar exemplos sintéticos de alta qualidade.

• Arquitetura Agêntica:

  • Agente Gerador: Utiliza o modelo Qwen2.5-14B. Ele não gera o texto diretamente, mas primeiro extrai uma "política de estilo" (baseada em dados reais) e define os termos de aspecto e polaridades. Em seguida, gera a sentença candidata seguindo estritamente essa política.
  • Agente Avaliador: Atua como um filtro de qualidade. Possui duas ferramentas:
    1. Inclusão de Rótulo: Verifica se todos os termos de aspecto exigidos estão presentes na sentença gerada exatamente como planejado.
    2. Verificador de Rótulo: Avalia se a polaridade (sentimento) associada a cada termo está correta semanticamente.
  • Fluxo: Apenas exemplos que passam em ambas as verificações são salvos no conjunto de dados sintético.

• Linha de Base (Baseline):

  • Para isolar o efeito da estrutura agêntica, os autores criaram uma linha de base de prompting direto. Ambos os métodos usam o mesmo modelo (Qwen2.5-14B), as mesmas instruções e a mesma estratégia de amostragem. A única diferença é que a linha de base gera o texto em um único passo sem verificação intermediária ou decomposição de tarefas.

• Configuração Experimental:

  • Tarefas: Extração de Termos de Aspecto (ATE), Classificação de Sentimento de Aspecto (ATSC) e Extração de Pares Sentimento-Aspecto (ASPE).
  • Dados: Quatro conjuntos de dados SemEval (Laptop14, Rest14, Rest15, Rest16).
  • Modelos de Avaliação: T5-Base (menos instruído) e Tk-Instruct (altamente instruído em 1.600 tarefas).
  • Cenários: Treinamento apenas com dados sintéticos, apenas com dados reais e mistura (1:1 e 2:1).

3. Contribuições Principais

1. Fluxo de Trabalho Agêntico para ABSA: Introdução de um pipeline que separa a geração, a extração de estilo e a verificação de rótulos, garantindo que os dados sintéticos sigam estritamente os requisitos complexos da ABSA.
2. Linha de Base Controlada: Design de uma comparação justa (mesmo modelo e prompts) para demonstrar que a melhoria vem da estrutura de geração iterativa e auto-reflexiva, e não apenas do modelo de linguagem em si.
3. Análise Sistemática: Investigação detalhada de como o pré-treinamento do modelo, a escala de aumento e a complexidade da subtarefa influenciam a eficácia dos dados sintéticos.

4. Resultados Chave

• Consistência de Rótulos: O método agêntico produziu dados com consistência de rótulos significativamente superior à do prompting direto, especialmente nas tarefas de ATE e ASPE. O prompting direto frequentemente falhava em manter a correspondência exata entre o termo gerado e a polaridade.
• Desempenho em Mistura de Dados:
  • Dados sintéticos puros não substituem dados anotados por humanos (o desempenho cai drasticamente).
  • No entanto, a mistura de dados reais e sintéticos (agênticos) melhorou consistentemente o desempenho, superando a linha de base de dados reais puros em muitos casos.
  • O método agêntico superou consistentemente a geração baseada em prompting quando misturada com dados reais.
• Sensibilidade do Modelo:
  • T5-Base: Beneficiou-se enormemente da aumentação agêntica, alcançando desempenho comparável ou até superior ao do modelo Tk-Instruct (que é muito maior e mais instruído). Isso sugere que a aumentação de alta qualidade pode compensar a falta de pré-treinamento massivo em instruções.
  • Tk-Instruct: Mostrou ganhos menores ou marginais, indicando que modelos já fortemente instruídos têm menos necessidade de dados sintéticos adicionais.
• Complexidade da Tarefa: Os benefícios foram mais pronunciados em ATSC (tarefa mais simples) e ATE, enquanto ASPE (a mais complexa) mostrou ganhos limitados, pois a consistência de rótulos sintéticos diminui conforme a complexidade estrutural aumenta.
• Escala: Aumentar a proporção de dados sintéticos além de 1:1 (x2) geralmente não trouxe benefícios adicionais e, às vezes, degradou o desempenho devido ao aumento de ruído.

5. Significado e Conclusão

O trabalho demonstra que a geração de dados controlada e verificada por agentes é uma estratégia viável e escalável para melhorar modelos de ABSA sem a necessidade de anotação humana adicional ou pré-treinamento massivo.

• Qualidade sobre Quantidade: A chave não é apenas gerar mais dados, mas garantir a consistência dos rótulos através de verificação automática.
• Democratização de Modelos: A aumentação agêntica permite que modelos menores e menos instruídos (como o T5-Base) rivalizem com modelos de ponta (como o Tk-Instruct), reduzindo a dependência de corpora de pré-treinamento caros e complexos.
• Limitação: A eficácia diminui à medida que a tarefa se torna estruturalmente mais complexa (como em ASPE), indicando que a geração sintética ainda tem limitações em capturar nuances linguísticas extremamente finas e ambíguas.

Em resumo, o artigo estabelece que a estrutura agêntica (separar geração e verificação) é superior ao prompting direto para tarefas de NLP estruturadas, oferecendo uma via prática para melhorar a robustez de modelos de análise de sentimentos.