Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models

1. Declaração do Problema

Os Modelos de Linguagem de Grande Porte (LLMs) modernos baseados em transformadores são tipicamente treinados em corpora de texto onde backchannels (por exemplo, "uh-huh", "yeah") e preenchimentos (por exemplo, "uh", "um") são frequentemente tratados como ruído e removidos durante o pré-processamento. Consequentemente, esses modelos carecem da capacidade de representar ou gerar esses elementos linguísticos cruciais.

• A Lacuna: Backchannels e preenchimentos não são semanticamente "desbotados"; eles carregam funções pragmáticas ricas (por exemplo, manutenção de turno, concordância, sinalização de carga cognitiva e gerenciamento do fluxo de conversa).
• A Consequência: Os LMs atuais produzem saídas semelhantes a texto que carecem da fluidez e das pistas sociais do diálogo humano natural, falhando em atuar como agentes conversacionais competentes.
• Objetivo da Pesquisa: Investigar se estratégias de ajuste fino podem permitir que os LMs aprendam e melhorem as representações semânticas de backchannels e preenchimentos, transformando assim LMs gerais em agentes conversacionais mais semelhantes aos humanos.

2. Metodologia

Seleção de Dados

O estudo utilizou três corpora de diálogos anotados contendo backchannels e preenchimentos preservados:

• Inglês: Switchboard (Godfrey & Holliman, 1993) e MapTask (Anderson et al., 1991).
• Japonês: BTSJ 1000 Person Japanese Natural Conversation Corpus (Usami, 2023).
• Foco: Os 15 backchannels/preenchimentos mais frequentes em cada idioma foram selecionados para análise (por exemplo, uh, yeah, uh-huh em inglês; un, hai, a em japonês).

Modelos Avaliados

Quatro modelos baseados em transformadores foram utilizados, variando de arquiteturas menores a maiores:

• BERT (versões em inglês e japonês).
• GPT-2 (versões em inglês e japonês).
• LLaMA-3 8B (Multilíngue).
• Qwen-3 8B (Multilíngue).

Estratégias de Ajuste Fino

Três tarefas downstream distintas foram empregadas para ensinar aos modelos o contexto dessas unidades linguísticas:

1. Mascaramento (MASK): Inspirado no pré-treinamento do BERT. Backchannels/preenchimentos específicos foram mascarados (80% substituídos por [MASK], 10% tokens aleatórios, 10% inalterados), e o modelo foi treinado para prever os tokens originais usando contexto bidirecional.
2. Previsão do Próximo Token (NTP): Uma tarefa autoregressiva padrão onde o modelo prevê o próximo token (que pode ser um preenchimento/backchannel ou uma palavra de conteúdo) dado o contexto precedente.
3. Previsão de Troca de Turno (TTP): Usando o framework TurnGPT, o modelo prevê a probabilidade de uma mudança de turno ocorrer após um token específico. Esta tarefa aproveita a forte correlação entre backchannels e gerenciamento de turno.

Nota: Para MASK e NTP, enunciados de ambos os falantes foram mesclados em uma única sequência com IDs de falante (<s1>, <s2>) para preservar o contexto.

Configurações de Contexto

Para analisar o papel do contexto, embeddings foram extraídos sob três condições:

• Sem Contexto: Apenas o enunciado contendo o backchannel/preenchimento.
• Um Contexto: O enunciado alvo mais os enunciados imediatamente precedente e subsequente.
• Contexto Completo: Todos os enunciados precedentes no diálogo (aplicável apenas a LLaMA-3 e Qwen-3 devido aos limites da janela de contexto).

Métricas de Avaliação

• Qualidade da Representação (Não Supervisionada):
  • Análise de Agrupamento (Clustering): Agrupamento K-means foi aplicado aos embeddings das 15 palavras-alvo.
  • Pontuação Silhueta (SC): Usada para medir a qualidade do agrupamento (pontuações mais altas indicam melhor separação entre diferentes tipos de backchannel).
  • Matrizes de Confusão: Visualizaram distâncias entre embeddings para mostrar distintividade.
• Qualidade de Geração (Supervisionada/Generativa):
  • Modelos foram encarregados de continuar um diálogo.
  • Métricas: Frequência e diversidade de backchannels gerados, Perplexidade ponderada por frequência (PPL), BERTScore (F1) e Pontuação BLEU contra a verdade fundamental (ground truth).

3. Principais Contribuições

1. Evidência Empírica de Aprendizado de Representação: O estudo fornece a primeira evidência sistemática de que o ajuste fino melhora significativamente a representação interna de backchannels e preenchimentos em LMs, movendo-os de vetores "aleatórios" ou "desbotados" para representações distintas e funcionalmente agrupadas.
2. Análise Comparativa de Estratégias: Compara as estratégias MASK, NTP e TTP, descobrindo que, embora todas melhorem a representação, NTP geralmente produz as maiores pontuações de silhueta, embora MASK desempenhe excepcionalmente bem para o BERT japonês.
3. Análise de Impacto Contextual: O artigo revela uma relação nuances entre o tamanho do contexto e a qualidade da representação. Embora algum contexto ajude, contexto excessivo (Contexto Completo) pode às vezes "diluir" a representação específica de palavras funcionais ao comprimi-las em regiões semânticas limitadas, levando a pontuações de silhueta mais baixas em alguns casos.
4. Insights sobre Arquitetura de Modelos: Demonstra que modelos maiores (LLaMA-3, Qwen-3) geralmente alcançam melhor agrupamento, mas modelos menores (BERT) também podem aprender essas representações efetivamente com a tarefa de ajuste fino correta (MASK).

4. Resultados

• Pontuações de Silhueta: Em todos os modelos e idiomas, o ajuste fino aumentou consistentemente as pontuações médias de silhueta.
  • Exemplo: Para LLaMA-3 (Inglês), a SC média aumentou de ~0,45 (pré-treinado) para ~0,59 (ajustado fino com NTP).
  • Isso indica que os modelos ajustados fino distinguem entre diferentes funções pragmáticas (por exemplo, "uh" para hesitação vs. "yeah" para concordância) muito melhor do que os modelos pré-treinados.
• Comportamento de Agrupamento:
  • Modelos pré-treinados mostraram alta sobreposição (baixa SC) e agrupamento aleatório.
  • Modelos ajustados fino mostraram limites mais claros nas visualizações t-SNE e agrupamentos mais distintos na análise K-means.
• Desempenho de Geração:
  • Modelos ajustados fino geraram backchannels/preenchimentos com maior frequência e maior diversidade em comparação com as linhas de base pré-treinadas.
  • Perplexidade em backchannels gerados diminuiu significativamente (por exemplo, PPL do LLaMA-3 em inglês caiu de 197,67 para 5,30), indicando que o modelo aprendeu a probabilidade estatística desses tokens no contexto.
  • Semelhança: Pontuações BERTScore e BLEU melhoraram, mostrando que os diálogos gerados estavam mais próximos da verdade fundamental humana.
• Descobertas Qualitativas: Modelos ajustados fino demonstraram a capacidade de usar preenchimentos para sinalização de carga cognitiva (por exemplo, "um" antes de uma palavra difícil) e backchannels para fundamentação (por exemplo, "uh-huh" para confirmar compreensão), imitando o fluxo conversacional humano.

5. Significado e Implicações

• Para Além do "Ruído": O artigo desafia a convenção de PNL de tratar backchannels e preenchimentos como ruído a ser limpo. Ele prova que são unidades linguísticas aprendíveis e representáveis com papéis semânticos e pragmáticos distintos.
• IA Conversacional: As descobertas sugerem um caminho para construir agentes de diálogo mais naturais, atentos e socialmente conscientes. Ao ajustar fino em dados de diálogo, os LMs podem aprender a gerenciar a troca de turnos e fornecer feedback apropriado, essencial para a interação humano-computador.
• Tokens Sub-representados: Isso serve como um estudo de caso sobre como os LMs podem aprender a representar tokens que são raros ou mal representados em corpora gerais de pré-treinamento, desde que sejam expostos a dados contextuais ricos via ajuste fino.
• Direções Futuras: Os autores destacam a necessidade de explorar sinais vocais (prosódia, tom) em modelos de fala e o potencial de técnicas avançadas de ajuste fino (por exemplo, ajuste fino cirúrgico) para refinar ainda mais essas representações sem comprometer as capacidades gerais de linguagem.

Em conclusão, o estudo demonstra que o ajuste fino é um mecanismo crítico para transformar LMs de propósito geral em agentes conversacionais capazes de produzir diálogos semelhantes aos humanos e pragmaticamente ricos, aprendendo efetivamente as representações de backchannels e preenchimentos.