Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models

Resumo Técnico: Automatização da Categorização de Textos Científicos com LLMs

Título Original: Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models

1. O Problema

O crescimento exponencial da literatura científica (com milhões de artigos publicados anualmente) cria um desafio crítico para a navegação e descoberta de conhecimento. Sistemas de recuperação de informação dependem de uma categorização precisa para organizar o conhecimento em instituições acadêmicas e industriais. No entanto, a classificação manual por bibliotecários ou especialistas é lenta, cara e difícil de escalar, especialmente devido à natureza complexa e hierárquica das taxonomias de pesquisa (como a ORKG, ACM ou DDC). O desafio central é como automatizar essa tarefa de forma precisa usando Inteligência Artificial, lidando com a profundidade das hierarquias e a complexidade dos temas científicos.

2. Metodologia

O estudo avaliou o desempenho de modelos de linguagem de grande escala (Large Language Models - LLMs) "prontos para uso" (sem ajuste fino/fine-tuning) para classificar textos científicos de acordo com a taxonomia hierárquica do Open Research Knowledge Graph (ORKG).

• Dataset: Utilizaram o dataset FoRC (Field of Research Classification), contendo 24.911 textos científicos (títulos e resumos) anotados por especialistas humanos.
• Modelos Avaliados: Quatro LLMs de código aberto de diferentes tamanhos: Gemma 2 (27B), Llama 3.1 (70B), Mistral Nemo (12B) e Phi-3 (3.8B).
• Estratégias de Prompt Engineering:
  • In-Context Learning (ICL): Testado em três configurações: Zero-shot (sem exemplos), One-shot (um exemplo) e Few-shot (vários exemplos).
  • Prompt Chaining (Encadeamento de Prompts): Uma abordagem iterativa de cima para baixo (top-down). Em vez de pedir a categoria final de uma vez, o modelo primeiro identifica o Domínio (1º nível), depois o Assunto (2º nível) dentro daquele domínio, e finalmente o Tópico (3º nível).
• Otimização de Hiperparâmetros: Investigação do impacto da Temperatura (controlando a aleatoriedade/criatividade) nas respostas.
• Métricas de Avaliação: Para capturar "quase acertos" (erros semânticos leves), além da acurácia exata (Exact Match), os autores utilizaram:
  • String Distance (SD): Distância de Levenshtein normalizada.
  • Embedding Distance (ED): Similaridade de cosseno usando embeddings do BERT para medir proximidade semântica.

3. Principais Contribuições

• Abordagem de Classificação Hierárquica: Introdução de um método para prever áreas de pesquisa em três níveis distintos (Domínio, Assunto e Tópico) usando LLMs.
• Avaliação de Prompt Chaining: Demonstração de que decompor a tarefa hierárquica em etapas sequenciais melhora significativamente a precisão em comparação com o aprendizado por contexto simples (ICL).
• Benchmark de LLMs para Ciência: Um estudo sistemático que compara modelos de diferentes escalas e arquiteturas na tarefa específica de classificação de domínios de pesquisa.

4. Resultados

• Superioridade do Prompt Chaining: O encadeamento de prompts superou o ICL, especialmente para a estrutura aninhada da taxonomia ORKG.
• Desempenho por Nível:
  • Domínio (1º nível): Excelente desempenho, com o modelo Llama atingindo 90,1% de acurácia.
  • Assunto (2º nível): Bom desempenho, com Llama atingindo 78,5%.
  • Tópico (3º nível): Desempenho limitado, com Llama atingindo cerca de 46,8% a 50,5%.
• Configuração Ideal: A temperatura de 0.8 mostrou-se a mais eficaz para alinhar as respostas dos modelos com as classificações humanas.
• Modelo Líder: O Llama 3.1 (70B) apresentou o melhor desempenho geral em todas as métricas e níveis.
• Limitações Identificadas: Os modelos ainda têm dificuldade com textos que possuem múltiplos rótulos (multilabel) ou temas muito específicos/complexos no terceiro nível da hierarquia.

5. Significância

O trabalho demonstra que os LLMs atuais são ferramentas poderosas para a organização automática do conhecimento científico, superando modelos tradicionais como BERT em níveis de assunto. Embora a classificação de tópicos ultraespecíficos ainda seja um desafio, a técnica de Prompt Chaining oferece um caminho viável para implementar sistemas de gestão de conhecimento em bibliotecas acadêmicas e centros de pesquisa, permitindo uma navegação muito mais eficiente em vastos repositórios de dados científicos.