Resumo Técnico: Pair2Score

Declaração do Problema

Muitas aplicações de avaliação, particularmente a Pontuação Automática de Redações (AES), exigem previsões absolutas (por exemplo, atribuir uma pontuação específica a uma redação com base em uma rubrica). No entanto, coletar rótulos absolutos é frequentemente intensivo em recursos, enquanto comparações pareadas (determinar qual de duas redações é melhor) são mais fáceis de obter e podem carregar informações locais mais fortes.

A questão central de pesquisa abordada por este artigo é: O aprendizado pareado pode servir como um objetivo intermediário eficaz para a pontuação absoluta de redações alinhada a rubricas? Especificamente, os autores investigam como transferir conhecimento de um modelo comparativo treinado em pares de documentos para um pontuador absoluto a jusante, utilizando Modelos de Linguagem de Grande Escala (LLMs).

Metodologia: Framework Pair2Score

Os autores propõem o Pair2Score, um framework de aprendizado em duas etapas projetado para transferir comparações pareadas para pontuação absoluta usando adaptação de LLM eficiente em parâmetros (LoRA). O framework utiliza uma base Meta LLaMA-3.2-1B e opera da seguinte forma:

Etapa 1: Ranqueamento Siameso Direcional (Objetivo Relativo)

• Arquitetura: Uma configuração Siamesa com uma base compartilhada LLaMA+LoRA processa dois documentos ($a$ e $b$).
• Objetivo: O modelo aprende uma preferência direcional. Utiliza uma cabeça de utilidade linear sem viés para calcular utilidades escalares $s(h_a)$ e $s(h_b)$ a partir de representações ocultas agrupadas. O logit de comparação é definido como $\Delta(a, b) = s(h_a) - s(h_b)$.
• Restrição: O design impõe anti-simetria ($\Delta(b, a) = -\Delta(a, b)$), garantindo preferências consistentes independentemente da ordem de entrada.
• Perda: O modelo é treinado usando perda logística pareada para maximizar $\Delta(a, b) > 0$ para pares onde o documento $a$ possui um rótulo de traço absoluto maior que $b$.
• Saída: A etapa produz um adaptador LoRA treinado e, opcionalmente, embeddings agrupados.

Etapa 2: Pontuação Absoluta com Transferência (Objetivo Absoluto)

• Objetivo: Treinar um regressor absoluto para prever pontuações de traços (por exemplo, gramática, vocabulário, sintaxe) diretamente, otimizando a perda L1 e avaliando com o Kappa Ponderado Quadrático (QWK).
• Mecanismos de Transferência: Os autores comparam três configurações:
  1. Linha de Base (Apenas Absoluto): Um novo adaptador LoRA é treinado do zero em rótulos absolutos.
  2. Inicialização Quente (Warm-start): O pontuador absoluto é inicializado com os pesos do adaptador LoRA da Etapa 1 (a cabeça pareada é descartada).
  3. Fusão de Embeddings: Além da inicialização quente, embeddings pré-computados da Etapa 1 são concatenados com a representação agrupada atual antes da cabeça de regressão.
• Variáveis: O estudo varia o tamanho do conjunto de pares (pequeno vs. grande) e a duração da etapa pareada (multi-época padrão vs. uma única época).

Protocolo Experimental

• Conjunto de Dados: O conjunto de dados Feedback Prize English Language Learning (corpus ELLIPSE), focando em três traços: gramática, vocabulário e sintaxe.
• Avaliação: Um protocolo de validação cruzada de cinco dobras onde a dobra retida e a semente aleatória são co-rotacionadas (por exemplo, a Dobra A usa a semente 42, a Dobra B usa a semente 48). Isso garante que a estocasticidade seja parte da evidência medida, em vez de ser média.
• Métricas: A métrica principal é o QWK de teste.

Contribuições Principais

1. Formulação do Espaço de Design: O artigo enquadra a transferência de pontuação relativa para absoluta como um espaço de design definido por três eixos: objetivo intermediário, mecanismo de transferência e alvo a jusante. Ele instância um caminho específico (preferência pareada $\to$ inicialização quente/fusão $\to$ regressão absoluta).
2. Descobertas Empíricas sobre Transferência: Em 15 avaliações ao nível de dobra (3 traços $\times$ 5 dobras), os autores constatam que a qualidade do ranqueamento pareado por si só não prevê se a transferência melhorará a pontuação absoluta. Em vez disso, a escolha do mecanismo de transferência e a duração da etapa pareada são críticas.
3. Sensibilidade à Duração: Um padrão claro emerge em relação à duração da etapa pareada: uma única época de treinamento pareado transfere de forma mais confiável do que o treinamento estendido. Isso sugere que a etapa pareada funciona principalmente como uma inicialização precoce eficaz em vez de uma fase prolongada de otimização de ranqueamento.
4. Falta de Correlação: O estudo demonstra uma correlação fraca entre a precisão pareada da Etapa 1 e o desempenho de pontuação absoluta da Etapa 2, indicando que o sucesso a jusante depende mais da configuração de transferência e das variações de dobra/semente do que de ganhos marginais nas métricas de ranqueamento da Etapa 1.

Resultados

• Desempenho: A variante de transferência de melhor desempenho melhorou o QWK em relação à linha de base apenas absoluta para os três traços (Gramática, Vocabulário, Sintaxe).
• Consistência: Nenhuma configuração única dominou em todas as execuções. No entanto, quando a melhor variante de transferência foi selecionada para cada avaliação traço-dobra, a transferência pareada superou a linha de base em 11 de 15 casos, com um $\Delta$QWK médio de +0,012.
• Impacto da Configuração:
  • Duração: A configuração pareada de "uma época" consistentemente superou ou empatou com a configuração "padrão" (multi-época) na maioria das configurações.
  • Tamanho do Conjunto de Pares: Aumentar o número de pares (de ~3k para ~6k) não produziu uma vantagem consistente.
  • Mecanismo de Transferência: Tanto a inicialização quente quanto a fusão de embeddings mostraram benefícios, mas o "vencedor" específico variou conforme o traço e a dobra.

Significado e Afirmações

O artigo afirma modestamente que o Pair2Score demonstra que supervisão comparativa pode ser uma etapa intermediária útil para pontuação absoluta alinhada a rubricas, mas apenas se o caminho de transferência for cuidadosamente configurado.

Os autores enfatizam que o benefício não é automático; simplesmente adicionar uma etapa pareada não garante melhoria. A principal percepção é que a etapa pareada contribui principalmente através da inicialização precoce (fornecendo um ponto de partida melhor para o pontuador absoluto) em vez de através da acumulação de conhecimento de ranqueamento ao longo de muitas épocas.

O trabalho posiciona a transferência de relativo para absoluto como uma questão de modelagem distinta onde o objetivo intermediário, o caminho de transferência e o alvo a jusante devem ser considerados em conjunto. Os autores reconhecem limitações, observando que sua avaliação cobre apenas um caminho através do espaço de design mais amplo (especificamente, preferência pareada com inicialização quente/fusão em um cenário de AES) e que validação adicional é necessária para outros objetivos intermediários, bases e fluxos de trabalho de avaliação.