Human-CLAP: Human-perception-based contrastive language-audio pretraining

O artigo apresenta o Human-CLAP, um modelo de pré-treinamento contrastivo áudio-texto treinado com base em avaliações subjetivas humanas que supera o CLAP tradicional ao aumentar significativamente a correlação entre as pontuações automáticas e a percepção humana.

O essencial

Imagine que você tem um robô superinteligente chamado CLAP. A função desse robô é entender a relação entre o que a gente ouve (áudio) e o que a gente lê (texto).

Por exemplo, se você descrever "um cachorro latindo" e o robô ouvir um som de cachorro latindo, ele deve dizer: "Ei, isso combina perfeitamente!". Se você disser "um gato miando" e ele ouvir o cachorro, ele deve dizer: "Isso não faz sentido".

O robô usa uma régua chamada CLAPScore para medir o quanto o texto e o som combinam. Quanto maior a nota, mais parecidos eles são.

O Problema: O Robô e o Humano não concordam

O artigo revela um problema engraçado: a régua do robô não é a mesma régua que a gente usa.

Os pesquisadores pegaram muitos sons e textos, pediram para pessoas reais darem notas (de 0 a 10) sobre o quanto combinavam, e depois olharam o que o robô CLAP achava.

• Resultado: O robô estava muito confuso! Às vezes, ele dava nota 10 para algo que as pessoas achavam terrível, e às vezes dava nota baixa para algo que as pessoas adoraram.
• A Analogia: É como se você estivesse tentando adivinhar se uma música é boa olhando apenas para a capa do álbum. O robô estava olhando para a "capa" (os dados brutos), mas não estava "ouvindo" a música com os ouvidos humanos.

A Solução: O "Human-CLAP" (O Robô com Ouvidos Humanos)

Os autores do artigo criaram uma nova versão do robô, chamada Human-CLAP.

Em vez de deixar o robô aprender sozinho com milhões de dados (que às vezes estão bagunçados ou errados), eles pegaram um pequeno grupo de pessoas reais, pediram para elas darem notas de aprovação, e usaram essas notas para "treinar" o robô de novo.

• Como funcionou: Eles disseram ao robô: "Olha, quando as pessoas dão nota 10, você deve achar que é perfeito. Quando dão nota 0, você deve achar que é um desastre".
• O Segredo: Eles usaram uma técnica especial (chamada loss function no texto, mas vamos chamar de "regra de ouro") que misturou a inteligência do robô original com os gostos das pessoas.

O Resultado: O Robô Aprendeu a Gostar do que a Gente Gosta

Depois desse treinamento especial, o Human-CLAP ficou muito mais esperto.

1. A Correlação Subiu: A nota que o robô dava passou a bater muito mais com a nota que as pessoas davam. A "conversa" entre o robô e o humano ficou muito mais clara.
2. Melhorou em Tudo: Seja para sons naturais (como chuva ou trânsito) ou sons criados por computadores (como músicas geradas por IA), o novo robô acertou muito mais.
3. O Grande Ganho: A melhoria foi de mais de 0,17 pontos na escala de correlação. Em termos simples: o robô agora é muito mais confiável para julgar se um som combina com uma descrição.

Por que isso é importante?

Hoje em dia, existem muitas IAs que criam músicas, efeitos sonoros ou descrevem vídeos automaticamente. Para saber se elas estão fazendo um bom trabalho, os cientistas usam o "CLAPScore" antigo.

Mas, como vimos, esse antigo era um pouco "cego" para o que o ser humano realmente acha. Com o Human-CLAP, agora temos uma régua muito mais justa. Se uma IA criar um som, podemos usar esse novo robô para dizer: "Ei, isso realmente soa como o que você pediu?" com muito mais precisão.

Resumo da Ópera:
Os autores pegaram um robô que era bom em matemática, mas ruim em "sentir" a música, e deram a ele um curso intensivo de "gosto humano". Agora, o robô não só entende os dados, mas entende o que a gente acha bonito e relevante.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Human-CLAP: Human-perception-based contrastive language–audio pretraining", apresentado na APSIPA ASC 2025, em português:

1. Problema

O modelo CLAP (Contrastive Language–Audio Pretraining) tornou-se uma ferramenta fundamental para tarefas de geração e reconhecimento de áudio, sendo frequentemente utilizado para calcular o CLAPScore. Este escore mede a similaridade entre embeddings de texto e áudio para avaliar a relevância em tarefas de Text-to-Audio (TTA).

No entanto, o artigo identifica uma lacuna crítica: a relação entre o CLAPScore e as avaliações subjetivas humanas não é clara.

• Estudos preliminares sugerem que o CLAPScore tem uma correlação baixa com a percepção humana.
• O CLAP original é treinado assumindo que todos os pares áudio-texto no conjunto de dados são perfeitos, ignorando ruídos (textos que não cobrem todo o conteúdo do áudio ou descrições imprecisas).
• Coletar novos dados limpos é extremamente custoso, criando a necessidade de uma abordagem que alinhe o modelo à percepção humana utilizando dados limitados de avaliação subjetiva.

2. Metodologia

Os autores propõem o Human-CLAP, um modelo CLAP ajustado (fine-tuned) para incorporar a percepção humana diretamente no processo de treinamento.

• Dados de Treinamento: Utilizaram o conjunto de dados RELATE, que contém avaliações subjetivas de relevância entre pares áudio-texto em uma escala de 0 a 10. O conjunto foi filtrado para garantir a qualidade dos avaliadores (listeners), resultando em cerca de 2.383 pares para treino e 2.405 para teste.

• Abordagem de Treinamento: Em vez de apenas maximizar a similaridade coseno para pares emparelhados (como no CLAP padrão), o Human-CLAP utiliza as pontuações subjetivas humanas como alvos de regressão.

• Função de Perda (Loss Function): O modelo é treinado para minimizar uma combinação linear de duas funções de perda:

  1. wSCE (Weighted Symmetric Cross Entropy): Uma variação da perda de entropia cruzada simétrica usada no CLAP original, onde os pares são ponderados pela pontuação subjetiva ($a_i$). Isso força o modelo a aprender que a similaridade deve ser maior para pares com alta relevância humana e menor para pares com baixa relevância.
  2. Perda de Regressão (MSE ou MAE): Calcula o erro entre a similaridade coseno prevista pelo modelo e a pontuação subjetiva reescalada (de 0 a 1).
  • A perda total é definida como: $L = \lambda_1 L_{wSCE} + \lambda_2 L_{reg}$.

• Configuração Experimental: O modelo base utilizado foi o LAION CLAP (fine-tuned com RoBERTa para texto e HTS-AT para áudio). O treinamento foi realizado com uma taxa de aprendizado de $10^{-5}$ e batch size de 8.

3. Principais Contribuições

1. Análise de Correlação: Demonstraram empiricamente que o CLAPScore padrão possui uma correlação muito baixa com as avaliações subjetivas humanas (SRCC de ~0.28), indicando que não é uma métrica objetiva confiável para TTA.
2. Proposta do Human-CLAP: Introduziram um novo modelo pré-treinado que utiliza pontuações subjetivas humanas (apenas ~1/320 do tamanho dos dados de treino do CLAP original) para refinar o espaço de embeddings.
3. Método Híbrido de Perda: Desenvolveram uma função de perda que combina aprendizado contrastivo ponderado e regressão, permitindo que o modelo aprenda a "nuance" da relevância percebida pelo humano, não apenas a correspondência binária.

4. Resultados

Os experimentos compararam o Human-CLAP com os modelos base (LAION CLAP e MS CLAP) utilizando o coeficiente de correlação de Spearman (SRCC), correlação linear (LCC) e erro quadrático médio (MSE).

• Melhoria na Correlação: O Human-CLAP (especificamente com a combinação wSCE + MAE) alcançou um SRCC de 0.457, uma melhoria de mais de 0.17 em relação ao LAION CLAP (0.280).
• Desempenho Geral: O modelo proposto superou consistentemente as abordagens de baseline em todas as métricas de correlação (SRCC, LCC, KTAU) e reduziu o erro (MSE).
• Análise por Tipo de Áudio: A melhoria foi observada tanto em áudios naturais quanto sintetizados (por modelos como AudioLDM, Tango, etc.).
• Análise de Faixa de Pontuação: O Human-CLAP demonstrou ser particularmente eficaz em atribuir pontuações baixas a pares de áudio-texto com baixa relevância (pontuações subjetivas $\le$ 5), algo que o modelo treinado apenas com regressão (MAE puro) falhou em fazer adequadamente. A combinação com wSCE foi crucial para essa distinção.

5. Significado e Impacto

Este trabalho é significativo porque:

• Valida a Percepção Humana: Estabelece que métricas automáticas baseadas apenas em correspondência de embeddings (como o CLAPScore original) não capturam a complexidade da avaliação humana.
• Eficiência de Dados: Demonstra que é possível alinhar modelos grandes de fundação (foundation models) com a percepção humana utilizando uma quantidade muito pequena de dados de avaliação subjetiva de alta qualidade, contornando o custo proibitivo de coletar grandes conjuntos de dados rotulados manualmente.
• Aplicação Prática: Oferece uma nova métrica (Human-CLAPScore) mais confiável para avaliar e otimizar sistemas de geração de áudio (Text-to-Audio), garantindo que os resultados gerados sejam não apenas semanticamente corretos, mas também perceptualmente relevantes para os humanos.

Em resumo, o Human-CLAP representa um avanço crucial na avaliação de modelos de áudio, deslocando o foco de uma correspondência estatística bruta para uma alinhamento direto com a percepção e julgamento humanos.