Which Sections of a Research Paper Best Reveal Its Research Methods? Evidence from Library and Information Science

Resumo Técnico: Quais Seções de um Artigo de Pesquisa Melhor Revelam Seus Métodos de Pesquisa? Evidências da Ciência da Informação e da Biblioteca

Problema
A classificação automatizada de métodos de pesquisa é uma tarefa crítica para serviços de conhecimento, incluindo recuperação de métodos, geração de revisões e análise de inteligência de pesquisa. Embora estudos existentes frequentemente dependam de títulos e resumos, essas seções frequentemente fornecem detalhes metodológicos limitados, restringindo a precisão da classificação para métodos complexos. Por outro lado, utilizar o conteúdo do texto completo introduz desafios relacionados ao comprimento excessivo, redundância de informações e limitações da janela de contexto dos modelos. Além disso, confiar na segmentação lógica (por exemplo, identificar seções de "Metodologia") é difícil devido à diversidade das normas de escrita entre periódicos e disciplinas. Este estudo aborda a necessidade de uma estratégia eficiente para selecionar e combinar segmentos de texto de artigos de texto completo que maximizem o ganho de informação para a classificação de métodos de pesquisa multilabel.

Metodologia
O estudo emprega uma estratégia de combinação de segmentos baseada na posição física do texto dentro dos artigos, em vez de seções retóricas lógicas.

• Conjunto de Dados: A pesquisa utiliza um corpus anotado de 1.954 artigos de texto completo de três periódicos representativos de Ciência da Informação e da Biblioteca (LIS): JASIST, LISR e JDoc. Os artigos são rotulados com 16 tipos distintos de métodos de pesquisa (ex: Bibliometria, Análise de Conteúdo, Etnografia).
• Estratégia de Segmentação: Em vez de analisar cabeçalhos, o estudo adota uma abordagem de partição de posição física linear. O corpo do texto de cada artigo é normalizado em uma sequência contínua de caracteres e dividido em dez segmentos iguais ($S_1$ a $S_{10}$), cada um representando aproximadamente 10% do conteúdo.
• Esquemas Experimentais: Quatro esquemas de combinação de entrada foram desenhados e avaliados:
  1. C1 (Segmento Único): Segmentos individuais usados independentemente.
  2. C2 (TA-Aumentado): Metadados bibliográficos (Título + Resumo) concatenados com um único segmento.
  3. C3 (Segmento Duplo): Pares de segmentos de diferentes posições concatenados.
  4. C4 (TA-Aumentado de Segmento Duplo): Metadados bibliográficos concatenados com dois segmentos posicionais diferentes.
• Tratamento de Texto Longo: Para lidar com os limites de tokens (ex: 512 tokens para o BERT), o estudo introduz "sumários metodológicos". Estes são destilações concisas (~220 palavras) dos segmentos originais, geradas usando o DeepSeek-V3.2, que extraem elementos metodológicos centrais (design, fontes de dados, procedimentos) enquanto filtram o ruído.
• Modelos: O estudo avalia o desempenho através de três categorias de modelos: codificadores de contexto curto (BERT, SciBERT), codificadores de contexto longo (SciBERT-long, BigBird) e Grandes Modelos de Linguagem (Llama-3-8B, DeepSeek-LLM-7B, Qwen2.5-7B). Todos os modelos foram ajustados utilizando Fine-Tuning de Parâmetros Eficientes (LoRA/QLoRA).
• Avaliação: O desempenho foi medido através de Precisão, Recall e F1-score Micro-médios. A significância estatística foi avaliada via um teste de randomização aproximado (teste de permutação pareada de Monte Carlo).

Resultos Principais

• Distribuição de Informação: A informação metodológica não está distribuída uniformemente. Entradas de segmento único (C1) geralmente apresentam desempenho inferior à linha de base de Título+Resumo (TA). No entanto, o desempenho atinge o pico nos segmentos do meio para o final ($S_6$) e no segmento final ($S_{10}$), sugerindo que estas áreas contêm detalhes de implementação críticos.
• Complementaridade: A combinação de segmentos melhora significativamente os resultados. As combinações ideais de segmentos duplos (C3) frequentemente pareiam o "meio para o final" com o "final" ou o "meio" com o "meio para o final".
• Impacto de Metadados e Sumarização:
  • Adicionar Título+Resumo às entradas de segmento duplo (C4) produz consistentemente o maior desempenho, superando a linha de base TA para a maioria dos modelos.
  • Para entradas de texto longo, os sumários metodológicos provaram ser altamente eficazes. Especificamente, a versão sumarizada da combinação TA + $S_5$ + $S_6$ alcançou o maior desempenho para o SciBERT, superando as entradas de texto bruto.
• Desempenho dos Modelos: Entre os codificadores, o SciBERT-long alcançou o melhor desempenho de linha de base (Micro-F1: 0,7152). Embora os LLMs tenham mostrado potencial, eles geralmente não superaram os melhores codificadores específicos do domínio neste estudo específico sem otimização específica.
• Significância Estatística: As melhorias alcançadas pelos esquemas C4 ideais sobre a linha de base TA foram estatisticamente significativas para o BERT, DeepSeek-LLM-7B, Llama-3-8B e Qwen2.5-7B.

Significância e Alegações
O artigo alega que uma estratégia simples, unificada e reproduzível baseada na posição física pode efetivamente superar os desafios da identificação de seções lógicas e da redundância de texto completo. O estudo demonstra que:

1. A complementaridade entre posições é a chave: a evidência metodológica é dispersa, e a combinação do contexto global (Título/Resumo) com detalhes operacionais locais de intervalos específicos do corpo do texto (particularmente segmentos do meio para o final e finais) fornece um poder discriminativo superior.
2. A compressão semântica via LLMs é um caminho viável para a classificação de documentos longos, filtrando o ruído de forma eficaz enquanto preserva características metodológicas críticas.
3. A estratégia de combinação de segmentos proposta oferece uma alternativa robusta à complexa análise lógica, tornando a classificação de métodos automatizada mais viável entre diversos periódicos sem exigir regras estruturais específicas de cada disciplina.

Os autores observam limitações, incluindo a restrição aos periódicos de LIS (exigindo validação adicional em outras disciplinas) e o potencial desalinhamento entre cortes físicos lineares e fronteiras semânticas lógicas. Sugere-se que trabalhos futuros incorporem segmentação baseada em lógica e otimizem ainda mais os mecanismos de sumarização.