Resumo Técnico: Um Framework Híbrido para Anotação de Letras de Canções Baseado no Alinhamento Humano-LLM

1. Declaração do Problema

O reconhecimento de emoções em música (MER) tem se baseado tradicionalmente em características de áudio, muitas vezes tratando as letras como secundárias ou atribuindo a elas o mesmo rótulo emocional da música completa. Essa abordagem ignora o fato de que as letras possuem significados emocionais únicos e evolutivos que podem não alinhar com o áudio, variando dinamicamente linha por linha. Além disso, a anotação de letras é inerentemente desafiadora devido a:

• Subjetividade e Variabilidade: Desacordo entre anotadores impulsionado pelo histórico cultural, interpretação individual e nuances linguísticas.
• Escalabilidade: A anotação manual é trabalhosa e dispendiosa, particularmente ao nível de sentença, necessário para capturar mudanças emocionais temporais.
• Ambiguidade: Letras metafóricas e dependentes de contexto frequentemente carecem de pistas textuais claras para uma rotulagem emocional consistente.

O artigo investiga o alinhamento entre humanos e Grandes Modelos de Linguagem (LLMs) para a anotação de emoções em letras ao nível de sentença e propõe um framework híbrido para aproveitar as forças complementares de ambos.

2. Metodologia

A. Curadoria do Conjunto de Dados

Os autores construíram um novo conjunto de dados ao nível de sentença compreendendo 652 segmentos de letras de 50 músicas (selecionadas dos datasets DEAM e PMEmo).

• Granularidade: As letras foram segmentadas manualmente em unidades semanticamente significativas ao nível de sentença para capturar mudanças emocionais dinâmicas.
• Rótulos: Cada segmento foi anotado para Valência e Excitação (Valence e Arousal - VA) em uma escala contínua de -1 a 1, alinhando-se ao modelo de círculo de Russell.
• Diversidade: O conjunto de dados abrange vários gêneros (pop, rock, clássica, jazz, eletrônica) e abrange influências criativas transnacionais.

B. Procedimento de Anotação

Dois pipelines de anotação distintos foram executados de forma independente:

1. Anotação Humana: Três estudantes de doutorado (com histórico do Leste/Sudeste Asiático) anotaram segmentos usando uma ferramenta HTML personalizada com um gráfico de círculo circumplexo de VA.
2. Anotação de LLM: Três modelos de última geração (GPT-4, Gemini 1.5, LLaMA 3) foram instigados utilizando uma abordagem de "Ancoragem Semântica". Os prompts forneceram 28 coordenadas de referência (Valência, Excitação) para emoções comuns para padronizar o espaço de saída sem forçar categorias discretas.

C. Análise Comparativa

O estudo analisou a concordância e a correlação:

• Consistência: Os LLMs mostraram maior consistência interna para Excitação (Média Desvio Padrão: 0,182 vs. Humano 0,215), mas uma variabilidade ligeiramente maior para Valência (Média Desvio Padrão: 0,251 vs. Humano 0,233).
• Dependência de Comprimento: O desacordo humano na excitação aumentou com o comprimento da letra, enquanto o desacordo do LLM na valência diminuiu conforme o contexto aumentava.
• Correlação: As correlações Humano-LLM foram geralmente baixas (ex: $r=0,29$ para Valência), indicando uma incompatibilidade nos julgamentos de polaridade afetiva, enquanto as correlações LLM-LLM foram mais fortes.

D. O Framework de Anotação Híbrida

Para otimizar a qualidade e a eficiência, os autores propõem um framework de três componentes:

1. Agregação Ponderada:

   • Pesos Humanos: Calculados com base nas correlações de Kendall's Tau pareadas entre os anotadores humanos.
   • Pesos de LLM: Calculados com base na correlação de ranking de Spearman entre a saída de cada LLM e o consenso humano agregado.
   • Resultado: Uma pontuação ponderada pela confiabilidade que suaviza o ruído do anotador.

2. Predição de Fonte de Anotação:

   • Uma abordagem de aprendizado supervisionado para prever o anotador ideal (Humano vs. LLM específico) para cada linha da letra.
   • Características: Complexidade linguística (comprimento, sintaxe, figuratividade), características semânticas (polaridade de sentimento), indicadores de desacordo e sinais de confiança do LLM.
   • Rótulos Proxy: Como o "ground truth" para o melhor anotador não está disponível, um rótulo proxy foi construído usando o consenso ponderado, priorizando fontes com menor desvio e melhor tratamento de conteúdo figurativo.
   • Modelos Avaliados: Árvore de Decisão, Floresta Aleatória (Random Forest), Aprendizado Semisupervisionado e Aprendizado por Reforço. A Floresta Aleatória alcançou a maior precisão (67,0%), particularmente na identificação de linhas adequadas para anotação por LLM (recall de 85%).

3. Lógica de Roteamento:

   • O framework roteia dinamicamente os segmentos: linhas simples ou literais são atribuídas a LLMs, enquanto linhas complexas, metafóricas ou ambíguas são roteadas para especialistas humanos.
   • Estudo de Ablação: Identificou a Complexidade Linguística e o Acordo do Anotador como os principais impulsionadores para as decisões de roteamento, respondendo por quase metade da lógica de roteamento do conjunto de dados.

3. Resultados Principais

• Complementaridade: Os humanos se destacam na interpretação de letras sutis, metafóricas e culturalmente nuances, mas sofrem com alta variabilidade. Os LLMs fornecem anotações consistentes e escaláveis para textos diretos, mas lutam com a valência subjetiva em contextos complexos.
• Eficiência de Custo:
  • Apenas Humano: Estimado em A$87.500 para o conjunto de dados completo (aprox. 42.000 linhas).
  • Apenas LLM: Estimado em A$75 (taxas de API) ou custos de GPU para inferência local.
  • Híbrido: Ao rotear ~26% das linhas (alta complexidade) para humanos e ~74% para LLMs, o framework reduz os custos de mão de obra humana em uma estimativa de 70%, mantendo uma alta qualidade de anotação.
• Desempenho: Os modelos de predição de fonte alcançaram precisões entre 62% e 67%, suficientes para servir como um filtro de "primeira passagem" para otimizar a alocação de recursos.
• Otimização Iterativa: Um experimento piloto refinando o LLaMA em segmentos anotados de forma híbrida resultou em uma redução de 15,4% nos gatilhos de roteamento, sugerindo que o sistema pode melhorar ao longo do tempo ao internalizar a lógica do especialista humano.

4. Significância e Alegações

O artigo alega que o framework híbrido proposto oferece uma solução robusta e escalável para a anotação de emoção em letras ao:

1. Preencher a Lacuna: Ele aborda a subjetividade da anotação humana e a falta de nuance da anotação automatizada ao selecionar dinamicamente a melhor fonte com base nas características da letra.
2. Custo-Efetividade: Demonstra que reduções de custo significativas (até 70%) são alcançáveis sem comprometer a qualidade da anotação, desde que a escala do conjunto de dados seja suficiente (atingindo o ponto de equilíbrio em ~1.000 linhas).
3. Contribuição Metodológica: Introduz uma estratégia de prompt de "Ancoragem Semântica" para LLMs e um método de agregação ponderada que utiliza a confiabilidade entre anotadores para criar rótulos proxy de alta qualidade para treinamento.
4. Direção Futura: O trabalho lança as bases para sistemas de MER multimodais mais precisos, ao separar as contribuições emocionais das letras do áudio, indo além de rótulos de nível de música para uma análise temporalmente dinâmica ao nível de sentença.

Os autores permanecem modestos, reconhecendo limitações como o pequeno grupo de anotadores humanos culturalmente homogêneos e a precisão moderada dos modelos de predição. Eles sugerem que trabalhos futuros devem focar na integração de características de áudio, expansão para conjuntos de dados multilíngues e refinamento da lógica de roteamento com embeddings de contexto mais profundos.