Beyond Musical Descriptors: Extracting Preference-Bearing Intent in Music Queries

1. O Problema

O artigo identifica uma lacuna crítica nos sistemas atuais de busca e recomendação musical. Embora existam conjuntos de dados anotados com descritores musicais (como gênero, humor, instrumento), a maioria ignora a intenção de preferência por trás desses descritores.

• Limitação Atual: Os sistemas tratam descritores de forma binária ou estática, sem distinguir se o usuário deseja algo (afinidade positiva), deseja evitar algo (aversão/negativa) ou se o termo serve apenas como um ponto de referência para similaridade (ex: "mais músicas como Elvis Presley").
• Desafio: Compreender queries abertas e subjetivas (comuns em redes sociais como o Reddit) exige não apenas extrair entidades, mas interpretar a relação semântica entre o descritor e a intenção do usuário, incluindo negações complexas e noções de similaridade.

2. Metodologia

Os autores propõem uma abordagem em três etapas principais:

• Criação do Dataset (MusicRecoIntent):

  • Baseado em 2.291 queries de recomendação musical extraídas do Reddit (subconjunto do corpus MusicRecoNER).
  • Anotação Manual: Dois anotadores rotularam os descritores musicais em sete categorias (Década, Gênero, Instrumento, Contexto de Escuta, Humor, Entidades Nomeadas, País).
  • Esquema de Intenção: Cada descritor foi classificado com um papel de preferência:
    • Positivo (+): O usuário deseja o atributo.
    • Negativo (-): O usuário deseja evitar o atributo.
    • Referencial (~): O atributo serve como referência para similaridade.
  • Validação: Foi calculado o acordo inter-anotadores (Kappa de Cohen para intenções e porcentagem de sobreposição para extração), resultando em um acordo global substancial (0,771 para extração e 0,927 para intenções).

• Avaliação de Modelos de Linguagem (LLMs):

  • Foi utilizado o framework Ollama para testar uma variedade de LLMs (Gemma 3, LLaMA 3, Mistral, Qwen) com diferentes tamanhos de parâmetros.
  • Prompting: Foram desenvolvidos prompts específicos para (1) identificar entidades/descritores e (2) classificar a intenção de preferência de cada um. O processo foi ilustrado com exemplos few-shot.

• Métricas de Avaliação:

  • Além das métricas padrão (Precisão, Recall, F1), utilizou-se uma classificação de erros baseada em Batista (2018): correto, ausente, espúrio, incorreto ou parcial.
  • Avaliou-se tanto a correspondência exata (Exact Match) quanto a parcial (Partial Match) para lidar com variações de segmentação (token boundaries).

3. Principais Contribuições

1. MusicRecoIntent: Um novo corpus anotado de 2.291 queries contendo 3.935 anotações de descritores, sendo o primeiro a vincular explicitamente descritores musicais a papéis de preferência (positivo, negativo, referencial).
2. Benchmark de LLMs: Uma avaliação abrangente de modelos de linguagem modernos na tarefa de extração de descritores e classificação de intenção em domínio musical.
3. Análise Qualitativa de Erros: Uma investigação detalhada sobre as falhas sistemáticas tanto de anotadores humanos quanto de modelos automáticos, focando em ambiguidades semânticas, granularidade e limites de segmentação.

4. Resultados

• Extração de Descritores:

  • Modelos maiores e mais recentes (Gemma 27B, Qwen 8B/32B) apresentaram o melhor desempenho.
  • Entidades Nomeadas (NE), Gênero e País foram os mais bem identificados (F1 > 0,90 em correspondência parcial).
  • Contexto de Escuta (LC) e Instrumento tiveram desempenho inferior (F1 ~0,69), principalmente devido a desafios de segmentação e variabilidade na anotação humana (ex: "verão" vs. "verão na Noruega").
  • A tolerância a correspondências parciais aumentou significativamente o F1-score (de 0,69 para 0,76), indicando que os modelos identificam o conceito correto, mas falham nos limites exatos do texto.

• Previsão de Intenção de Preferência:

  • O modelo Gemma 3:27B alcançou 89% de precisão na classificação de intenções para descritores extraídos corretamente.
  • Viés Observado: O modelo tende a superestimar preferências positivas em detrimento de casos referenciais (231 casos de similaridade foram erroneamente classificados como positivos).
  • Preferências negativas foram extraídas com alta precisão, mas sua baixa frequência no dataset limita a robustez estatística.

• Análise de Erros:

  • Discrepâncias frequentes ocorrem na segmentação (ex: "Frank Ocean" vs. "Frank Ocean, Blonde").
  • O modelo tende a superanotar termos genéricos (ex: "música", "álbum") que não funcionam como descritores úteis.
  • A ambiguidade em frases como "não gosto de rap, mas quero entrar no gênero" ainda é um desafio, onde a negação local não anula a intenção global positiva.

5. Significado e Conclusão

Este trabalho avança o estado da arte na compreensão de intenção do usuário em sistemas de recomendação musical ao demonstrar que:

1. LLMs são viáveis para extrair descritores explícitos e prever intenções de preferência com alta acurácia, especialmente para entidades e gêneros bem definidos.
2. Desafios Persistem: A modelagem de intenções referenciais (similaridade) e a resolução de ambiguidades de segmentação ainda são pontos fracos, tanto para modelos quanto para humanos.
3. Direção Futura: O estudo sugere que melhorias futuras dependem não apenas de modelos maiores, mas de diretrizes de anotação mais claras e prompts mais refinados para lidar com a granularidade e a ambiguidade semântica. O MusicRecoIntent serve como um benchmark essencial para o desenvolvimento de sistemas de recomendação mais matizados e alinhados com a intenção real do usuário.