Training data generation for context-dependent rubric-based short answer grading

Título

Geração de Dados de Treinamento para Correção de Respostas Curtas Baseada em Rubricas e Dependente de Contexto

1. O Problema

O acesso a dados de alta qualidade e específicos de domínio é um dos maiores obstáculos na pesquisa em Processamento de Linguagem Natural (PLN), especialmente para tarefas subexploradas.

• Restrições de Dados: Domínios cientificamente valiosos, como a avaliação de respostas abertas de estudantes (ex: testes PISA da OCDE), são frequentemente restritos devido a regulamentos de privacidade e acordos de não divulgação (NDA). Isso impede a publicação direta dos dados, limitando a reprodutibilidade da pesquisa e o desenvolvimento de modelos robustos fora das instituições detentoras.
• Desafio Específico: Treinar avaliadores automáticos que corrijam respostas curtas requer grandes volumes de dados diversificados, incluindo contextos, perguntas, rubricas de correção e respostas com diferentes níveis de pontuação (total, parcial, zero). Os conjuntos de dados públicos existentes geralmente falham em atender a esses critérios (são de domínio único, contêm apenas respostas corretas ou carecem de rubricas).

2. Metodologia

Os autores propõem uma abordagem para gerar um conjunto de dados proxy (surrogado) aberto, que imite a distribuição estatística e semântica de um conjunto de dados confidencial (PISA), sem violar o NDA ou expor os dados originais.

O processo foi dividido em três etapas principais:

A. Geração de Candidatos Sintéticos

Utilizando fontes abertas da internet e Grandes Modelos de Linguagem (LLMs), foi criada uma pipeline multiestágio para gerar dados sintéticos:

1. Extração de Contexto: Textos brutos de sites abertos foram limpos e segmentados em trechos de 150 a 800 palavras.
2. Geração de Perguntas: Um LLM gerou perguntas abertas baseadas no contexto, seguidas por um processo de filtragem (judge) para garantir que as perguntas fossem respondíveis apenas com o contexto, testassem compreensão lógica e não fossem subjetivas.
3. Geração de Rubricas: Rubricas para "crédito total", "parcial" e "nenhum crédito" foram geradas e refinadas iterativamente por um LLM juiz, garantindo que não houvesse ambiguidade e que seguissem o estilo das rubricas da OCDE.
4. Geração de Respostas: Foram geradas respostas simulando o nível de um estudante do ensino médio (incluindo erros comuns e pressa), categorizadas por nível de correção, e validadas por um juiz LLM.

B. Extração de Recursos (Features)

Para alinhar os dados sintéticos aos dados confidenciais sem revelar informações individuais, foram extraídos recursos linguísticos e semânticos derivados de Derivados de Formato de Texto (DTFs). Os recursos incluem:

• Similaridade de cosseno de embeddings densos (BAAI/bge-m3) entre contexto-pergunta, contexto-resposta e rubrica-resposta.
• Métricas de recall e precisão de n-gramas (1-gramas e 2-gramas) entre perguntas, contextos e respostas.
• Densidade léxica, comprimento da resposta e similaridade Jaccard.
• Similaridade baseada em TF-IDF.

C. Seleção de Dados (Métodos de Subamostragem)

Três métodos foram testados para selecionar o subconjunto sintético que melhor imita a distribuição dos dados da OCDE:

1. Método 1 (Seleção Global): Seleciona os 5% das amostras sintéticas mais próximas da média global dos recursos da OCDE (por classe de pontuação), usando a métrica L2.
2. Método 2 (Seleção por Domínio e Clustering): Tenta mitigar a falta de diversidade e a reductividade de uma única média. Seleciona os 5% melhores dentro de cada domínio e utiliza 8 centróides (k-means++) em vez de uma única média global.
3. Método 3 (Seleção por Ranking de Vizinhança): Um método mais rigoroso que não depende apenas de distâncias a médias. Ordena os dados sintéticos e de referência juntos pela distância L2 a uma amostra alvo e calcula uma pontuação negativa baseada na posição das amostras de referência nos 5 vizinhos mais próximos.

3. Contribuições Chave

• Framework de Geração de Dados Sob NDA: Demonstração de como criar conjuntos de dados de treinamento abertos e utilizáveis a partir de dados confidenciais restritos, utilizando apenas recursos derivados que não permitem a recuperação dos dados originais.
• Pipeline de Geração Sintética Robusta: Uma abordagem em múltiplos estágios com validação iterativa por LLMs para garantir a qualidade das rubricas e a aderência às restrições pedagógicas.
• Análise de Métodos de Seleção: Comparação sistemática de diferentes estratégias de alinhamento de distribuição (subset selection) para tarefas de correção de respostas curtas.

4. Resultados

Os autores avaliaram a utilidade dos dados gerados através de três experimentos (E1: Few-shot learning; E2: Seleção de modelo; E3: Treinamento de modelo pequeno):

• Métodos 1 e 2: Não produziram melhorias significativas. Em alguns casos, o desempenho foi inferior ao uso do conjunto completo ou de uma amostragem aleatória. Os autores atribuem isso à perda de diversidade e à inadequação de métricas de média simples para capturar a complexidade dos dados.
• Método 3 (Seleção por Ranking): Foi o único a apresentar resultados positivos e estatisticamente significativos.
  • Ao treinar um modelo pequeno (ModernBERT-base-nli) no subconjunto selecionado pelo Método 3, houve um ganho médio de precisão de 0,0206 (e 0,0116 em repetições) em comparação com uma amostragem aleatória.
  • O teste de Wilcoxon signed-rank resultou em valores de p (0,00091 e 0,00102) abaixo do limiar de 0,05, indicando que a melhoria não foi devido ao acaso.
• Conclusão dos Resultados: O uso de recursos não reduzidos (full features) e uma estratégia de seleção baseada em ranking de vizinhança (Método 3) mostrou-se promissor para criar dados de treinamento eficazes.

5. Significado e Conclusão

O trabalho demonstra que é possível contornar barreiras de privacidade e propriedade intelectual para avançar a pesquisa em PLN, gerando dados sintéticos de alta qualidade que preservam as propriedades estatísticas de dados confidenciais.

• Viabilidade: A abordagem valida o uso de "dados proxy" para treinar e avaliar modelos quando o acesso direto aos dados reais é impossível.
• Direção Futura: Os autores sugerem que conjuntos de recursos simples e médios podem não ser expressivos o suficiente para todas as tarefas. Métodos mais sofisticados de seleção de subconjuntos e conjuntos de recursos mais ricos são necessários, especialmente para dados altamente estruturados.
• Impacto: Esta metodologia pode ser aplicada a outros domínios restritos, permitindo que a comunidade científica desenvolva ferramentas de avaliação automática mais robustas sem violar acordos de confidencialidade.