💬 NLP

Enhancing Scientific Named Entity Recognition via Large Language Models: A Type-driven Multi-task Learning Approach

Este artigo introduz o TdSciNER, um framework de aprendizado multitarefa orientado por tipos que aprimora o Reconhecimento de Entidades Nomeadas Científicas ao filtrar tipos de entidades candidatas, incorporar uma tarefa de tipagem auxiliar para representações mais ricas e empregar uma nova estratégia de seleção de demonstrações para otimizar o desempenho de modelos de linguagem de grande escala através de diversos domínios científicos.

Autores originais: Tong Bao, Yi Zhao, Heng Zhang, Chengzhi Zhang

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tong Bao, Yi Zhao, Heng Zhang, Chengzhi Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da ciência como uma biblioteca imensa e infinita onde cada livro é um artigo de pesquisa. Dentro desses livros, os cientistas escondem pistas cruciais e minúsculas chamadas "entidades nomeadas" — palavras específicas como nomes de medicamentos, compostos químicos ou algoritmos de computador. Encontrar e rotular essas pistas é como um bibliotecário tentando organizar uma pilha caótica de livros nas prateleiras corretas. Se o bibliotecário errar, todo o sistema entra em colapso, tornando difícil encontrar respostas para grandes questões como "O que cura esta doença?" ou "Como funciona esta nova IA?".

Por muito tempo, os computadores tiveram dificuldade com esse trabalho de classificação porque as palavras científicas são complicadas. Uma palavra como "Método" pode significar uma receita específica em um laboratório de biologia, mas um tipo totalmente diferente de programa de computador em um artigo de tecnologia. Recentemente, chegaram os cérebros de computador superinteligentes chamados "Modelos de Linguagem de Grande Escala" (LLMs). Eles são como estudantes gênios que leram quase tudo na internet e conseguem adivinhar o que vem a seguir em uma frase. Eles são ótimos para tarefas gerais, mas quando você pede para eles classificarem livros científicos, eles às vezes se confundem. Por quê? Porque se você der a eles uma lista de 50 possíveis prateleiras para escolher, eles podem escolher a errada apenas porque soava familiar, mesmo que não se encaixasse no livro específico à frente deles. Eles precisam de uma pequena ajuda para focar nas prateleiras certas.

É aqui que o artigo "Enhancing Scientific Named Entity Recognition via Large Language Models" entra em cena. Os pesquisadores, liderados por Tong Bao e colegas, construíram um novo sistema chamado TdSciNER para ajudar esses gênios de IA a se tornarem melhores bibliotecários científicos. Em vez de deixar a IA adivinhar a partir de uma lista enorme e confusa de possibilidades, eles deram a ela uma estratégia de três etapas para restringir as opções e aprender mais rápido.

Primeiro, eles adicionaram um "Filtro de Tipo" (Type Filter). Imagine que você está procurando um tipo específico de fruta em um enorme supermercado. Em vez de pedir ao atendente da loja para verificar cada fruta, de maçãs a abobrinhas, você primeiro pede a um assistente inteligente para olhar sua lista de compras e dizer: "Ei, você só precisa verificar a seção de hortifrúti para frutas vermelhas e cítricos". O sistema TdSciNER faz exatamente isso: antes que a IA principal tente rotular uma frase, um modelo auxiliar menor varre a frase e filtra os tipos de entidades que não estão presentes. Se a frase for sobre ciência da computação, o filtro bloqueia termos médicos como "doença" ou "medicamento", para que a IA principal não se distraia com eles.

Segundo, eles usaram um truque de "Aprendizado Multitarefa" (Multi-Task Learning). Pense nisso como um aluno que está estudando para uma prova de história. Em vez de apenas memorizar datas, ele também pratica a escrita de pequenos resumos dos eventos. Isso o ajuda a entender melhor o contexto. Os pesquisadores ensinaram a IA a fazer duas coisas ao mesmo tempo: encontrar as palavras científicas (o trabalho principal) e também adivinhar o tipo de palavra que acabou de encontrar (o trabalho extra). Ao praticar ambos juntos, a IA aprendeu a entender muito melhor a "vibe" da frase, tornando-a menos propensa a confundir termos de sons semelhantes.

Terceiro, eles melhoraram a forma como a IA aprende com exemplos, um processo chamado "Aprendizado em Contexto" (In-Context Learning). Quando você pede a uma IA inteligente para realizar uma nova tarefa, você geralmente fornece alguns exemplos primeiro, como mostrar a ela um exemplar de um livro corretamente rotulado. Os pesquisadores perceberam que apenas escolher exemplos aleatórios não era suficiente. Eles criaram uma estratégia especial para escolher os melhores exemplos. Eles procuravam exemplos que fossem semelhantes à frase atual (para que a IA pudesse ver um padrão familiar), mas também diversos o suficiente para mostrar diferentes formas de escrita e diferentes tipos de entidades. É como dar a um aluno um guia de estudos que tem exemplos de muitos capítulos diferentes, não apenas de um, para que ele possa lidar com qualquer pergunta que surja.

A equipe testou este novo sistema em três conjuntos de dados científicos diferentes: um para ciência da computação, um para biologia e um para pesquisa médica. Os resultados foram impressionantes. Eles descobriram que o TdSciNER teve um desempenho tão bom quanto, e às vezes até melhor do que, modelos de computador antigos e altamente especializados que foram treinados durante anos em tópicos específicos. De fato, no conjunto de dados de ciência da computação, o sistema obteve um escore F1 de 70,58%, e no conjunto de dados médicos, atingiu 89,83%. Esses números sugerem que, ao usar esses três truques inteligentes — filtrar as opções, aprender duas tarefas ao mesmo tempo e escolher os melhores exemplos — os LLMs podem se tornar incrivelmente eficazes na compreensão de textos científicos sem a necessidade de quantidades massivas de ajuda humana extra.

Os pesquisadores também verificaram quanta "potência cerebral" isso exigia. Eles descobriram que, embora o sistema realize um pouco mais de trabalho do que apenas fazer uma pergunta simples, ele não atrasa as coisas muito. O tempo extra necessário para filtrar tipos ou escolher exemplos foi pequeno, mas o aumento na precisão foi enorme. Por exemplo, no conjunto de dados de ciência da computação, o método deles melhorou a precisão em quase 30 pontos percentuais em comparação ao uso de uma IA padrão sem esses truques.

No entanto, os autores são cuidadosos ao notar que isso não é uma varinha mágica que resolve tudo instantaneamente. Eles admitem que seu sistema ainda não supera totalmente os melhores modelos especializados em todos os conjuntos de dados, especialmente aqueles com termos médicos extremamente complexos. Eles também apontam que seu método depende de como a IA é orientada (prompting) e que, se os comandos não forem bem projetados, os resultados podem sofrer. Mas, no geral, o estudo sugere que dar à IA um pouco de estrutura — filtrando o ruído e ensinando-a a focar nos tipos certos de informação — é uma maneira poderosa de torná-la mais inteligente sobre a ciência. É um passo à frente para transformar esses cérebros de IA gigantes e de propósito geral em ferramentas especializadas que podem nos ajudar a desbloquear os segredos escondidos em milhões de artigos científicos.

Resumo Técnico: Aprimorando o Reconhecimento de Entidades Nomeadas Científicas via Grandes Modelos de Linguagem: Uma Abordagem de Aprendizado Multitarefa Baseada em Tipos

Declaração do Problema

O Reconhecimento de Entidades Nomeadas Científicas (SciNER) é crítico para a extração de unidades de conhecimento fundamental da literatura científica para apoiar aplicações de jusante, como a construção de grafos de conhecimento e busca inteligente. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado desempenho competitivo em SciNER com esforço humano mínimo através de Aprendizado em Contexto (ICL), eles enfrentam desafios específicos em domínios científicos. Diferente do NER de domínio geral, o SciNER envolve tipos de entidades altamente especializados e de granularidade fina que variam significativamente entre as disciplinas (por exemplo, "Método" em ciência da computação vs. protocolos biomédicos).

Uma limitação primária identificada é que as abordagens atuais baseadas em LLM frequentemente fornecem um prompt contendo o conjunto inteiro de tipos de entidades candidatas para um conjunto de dados. No entanto, a análise de sentenças científicas revela que a maioria contém apenas um pequeno subconjço desses tipos. Fornecer tipos candidatos irrelevantes no prompt confunde os LLMs, aumenta o risco de classificação errônea e dificulta a habilidade do modelo de distinguir entre tipos de entidades intimamente relacionados dentro de um domínio específico. Além disso, os métodos existentes frequentemente carecem de mecanismos para alavancar efetivamente a informação do tipo de entidade para guiar o processo generativo ou para enriquecer as representações contextuais sem exigir anotações adicionais extensas.

Metodologia: TdSciNER

Para abordar esses desafios, os autores propõem o TdSciNER, um framework baseado em tipos que integra a informação do tipo de entidade no SciNER baseado em LLM através de três componentes principais:

1. Modelo de Filtro de Tipo de Entidade

Este componente visa reduzir o espaço de tipos de entidades candidatas apresentado ao LLM.

Mecanismo: O modelo calcula o grau de correspondência entre uma sentença de entrada e potenciais tipos de entidades. Ele utiliza um codificador do tipo BERT para gerar representações vetoriais para a sentença de entrada, descrições de tipos de entidades específicas do domínio (geradas via GPT-4) e sentenças de exemplo contendo apenas tipos de entidades específicos.
Cálculo de Similaridade: Calcula pontuações de similaridade de cosseno baseadas tanto nas descrições dos tipos de entidades quanto nas sentenças de exemplo. Uma combinação ponderada dessas pontuações determina a relevância de cada tipo candidato.
Filtragem: Um limiar é aplicado para filtrar tipos de baixa relevância, resultando em um conjunto candidato ( $C'$ ) reduzido fornecido no prompt. Isso permite que o LLM se concentre nos tipos de entidades mais prováveis para a entrada específica.
Treinamento: O codificador é ajustado usando um objetivo de aprendizado contrastivo, tratando tipos de entidades anotados em uma sentença como amostras positivas e tipos não anotados como negativas.

2. Aprendizado Multitarefa com Tipagem de Entidade Auxiliar

Para enriquecer as representações contextuais do LLM, uma tarefa auxiliar é introduzida durante a fase de ajuste fino (fine-tuning).

Design da Tarefa: Ao lado da tarefa primária de SciNER (identificar spans de entidades e tipos), o modelo é treinado em uma tarefa auxiliar de tipagem de entidade multiclasse. Nesta tarefa, o modelo recebe uma lista de entidades extraídas e deve prever seus tipos a partir do conjunto candidato.
Eficiência: Esta tarefa auxiliar reutiliza as anotações existentes dos conjuntos de dados de SciNER, não exigindo rotulagem humana adicional.
Otimização: O loss total é uma soma ponderada do loss primário de SciNER e do loss de tipagem de entidade auxiliar. Este treinamento conjunto encoraja o modelo a aprender representações semânticas mais ricas de tipos de entidades, melhorando sua capacidade de distinguir entre tipos similares.

3. Seleção de Demonstração Equilibrada entre Similaridade e Diversidade

Para otimizar as capacidades de Aprendizado em Contexto (ICL) dos LLMs, os autores propõem uma estratégia de seleção dinâmica de demonstrações.

Critérios: Em vez de depender apenas de similaridade textual, a estratégia seleciona demonstrações de poucos disparos (few-shot) baseando-se em três fatores:
1. Similaridade de Sentença: Similaridade de cosseno entre a entrada e os exemplos candidatos.
2. Diversidade de Tipo de Entidade: A diversidade de tipos de entidades representados nos exemplos candidatos.
3. Diversidade Estrutural: Medida via Distância de Edição de Árvore (TED) entre as árvores de análise sintática da entrada e dos candidatos.
Seleção: Uma combinação ponderada desses escores classifica os exemplos candidatos, garantindo que as demonstrações selecionadas sejam tanto relevantes para a entrada quanto diversas em termos de tipos de entidades e estruturas sintáticas.

Principais Contribuições

Primeiro LLM Baseado em Tipos para SciNER: O artigo propõe o TdSciNER, o primeiro método que utiliza sistematicamente a informação do tipo de entidade dentro do SciNER baseado em LLM para guiar as previsões do modelo.
Componentes Inovadores: O desenvolvimento de um filtro de tipo de entidade para estreitar o espaço candidato e uma tarefa auxiliar de tipagem de entidade multiclasse para aumentar as representações contextuais via aprendizado multitarefa sem custos de anotação adicional.
Estratégia de ICL Avançada: A introdução de uma estratégia de seleção de amostras equilibrada entre similaridade e diversidade que ativa as capacidades de ICL ao considerar similaridade de sentença, diversidade de tipo de entidade e variedade estrutural.
Validação Empírica: Experimentos abrangentes demonstrando que o TdSciNER alcança um desempenho comparável a modelos totalmente supervisionados em três diversos conjuntos de dados (Ciência da Computação e Biomédica).

Resultados Experimentais

Os autores avaliaram o TdSciNER em três conjuntos de dados: SciERC (Ciência da Computação), JNLPBA (Biomédica) e BC5CDR (Biomédica).

Desempenho: O TdSciNER (usando Flan-T5-11B) alcançou resultados de estado da arte entre os métodos baseados em LLM, superando baselines como UniNER e P-ICL. Especificamente, alcançou pontuações F1 de 70,58% no SciERC, 79,34% no JNLPBA e 89,83% no BC5CDR. Estes resultados são comparáveis a, e em alguns casos competitivos com, modelos pré-treinados totalmente supervisionados como SciBERT e BioBERT.
Estudos de Ablação:
- Remover o Filtro de Tipo de Entidade resultou em quedas de desempenho de 2,26% a 2,81% em conjuntos de dados com mais tipos de entidades, confirmando seu papel na redução de ruído.
- Remover a Tarefa Auxiliar causou declínios de desempenho, particularmente em conjuntos de dados complexos, validando o benefício de representações enriquecidas.
- Remover o ICL levou a quedas significativas (até 3,02%), destacando a importância da seleção de demonstrações.
Eficiência: Embora o TdSciNER introduza uma etapa de treinamento e overhead de inferência para filtragem e seleção de demonstrações, ele mantém tempos de inferência competitivos (aprox. 2,85s/amostra) enquanto oferece melhorias substanciais de F1 sobre abordagens de zero-shot ou few-shot padrão de LLM.
Análise do Codificador: Codificadores específicos de domínio (SciBERT, BioBERT) mostraram-se mais eficazes para o filtro de tipo de entidade do que modelos de propósito geral, mesmo aqueles com tamanhos de parâmetros maiores.

Significância e Alegações

O artigo afirma que o TdSciNER fornece um caminho valioso para adaptar LLMs a tarefas de extração de informação de domínio específico. Ao incorporar explicitamente a informação do tipo de entidade, o método aborda o descompasso entre a natureza generativa dos LLMs e as demandas de rotulagem de sequência do SciNER.

Os autores afirmam que seu trabalho oferece insights sobre:

Redução da Complexidade do Prompt: Estreitar o espaço de tipos de entidades candidatas melhora significativamente a precisão do LLM em domínios científicos.
Eficiência de Dados: O aprendizado multitarefa com tarefas de tipagem auxiliares pode aumentar o desempenho sem a necessidade de dados anotados adicionais.
ICL Robusto: Selecionar demonstrações baseadas tanto em similaridade quanto em diversidade é crucial para lidar com o jargão especializado e as estruturas complexas de textos científicos.

Os autores observam modestamente que, embora o TdSciNER performe de forma competitiva, ele ainda não supera modelos pré-treinados altamente especializados (como o SciBERT) em todas as métricas, provavelmente devido ao extenso pré-treinamento específico do domínio destes últimos. Eles também reconhecem limitações em relação à subjetividade do prompt e ao potencial de contaminação de dados em modelos pré-treinados, sugerindo trabalhos futuros em geração automática de prompts e avaliação de domínios mais amplos.