Dynamically Acquiring Text Content to Enable the Classification of Lesser-known Entities for Real-world Tasks

Resumo Técnico: Aquisição Dinâmica de Conteúdo de Texto para Classificação de Entidades Pouco Conhecidas

1. O Problema

Os recursos tradicionais de Processamento de Linguagem Natural (PLN), como bases de conhecimento (Wikidata, DBpedia), são excelentes para entidades genéricas, mas falham em fornecer informações específicas para tarefas do mundo real. Muitas aplicações exigem classificações taxonômicas customizadas (ex: tipos de atividades comerciais ou especialidades médicas) que não estão presentes em bases de dados estruturadas. Além disso, entidades "pouco conhecidas" (empresas menores ou profissionais de saúde locais) frequentemente carecem de descrições textuais em corpora pré-existentes, dificultando o treinamento de classificadores supervisionados.

2. Metodologia Proposta

Os autores propõem um framework agnóstico à tarefa que automatiza a criação de classificadores de entidades utilizando apenas dois inputs: nomes das entidades e rótulos de referência (gold labels). O diferencial é que o framework não depende de um corpus de texto pré-compilado; ele o constrói dinamicamente através de duas etapas:

A. Aquisição de Texto (Text Acquisition):
O framework combina duas fontes para gerar descrições ricas e específicas para a tarefa:

1. Recuperação via Web (Google Snippets): Utiliza a API SerpAPI para buscar os 10 principais resultados de pesquisa no Google para cada entidade, agregando os fragmentos de texto (snippets) em um bloco semântico (chamado de GSnip).
2. Geração via LLM (LLM-based Summaries): Utiliza modelos de linguagem de grande escala (GPT-4o mini e LLaMA 3.1) para gerar resumos factuais baseados no nome da entidade. Foram aplicadas estratégias de prompting distintas para garantir que o texto fosse informativo e objetivo (chamados de GPTSum e LLaMASum).

B. Treinamento do Modelo de Classificação:
O texto adquirido (seja ele puro, gerado ou uma combinação de ambos) é usado para treinar diversos modelos:

• Modelos baseados em Encoder: BERT, RoBERTa e Longformer (ajustados/fine-tuned).
• Modelo Generativo: GPT-4o mini (ajustado via fine-tuning supervisionado).

3. Principais Contribuições

1. Framework de Aquisição de Conhecimento Autônomo: Um método inovador que integra busca na web e geração por LLM para construir dados de treinamento para classificação supervisionada, eliminando a dependência de datasets de descrição pré-existentes.
2. Criação de Benchmarks: O desenvolvimento de dois novos conjuntos de dados em domínios distintos: Indústria (classificação de organizações via códigos SIC) e Saúde (classificação de profissionais via códigos de taxonomia da NUCC).
3. Abordagem Híbrida: Demonstração de que a combinação de texto recuperado da web com texto gerado por LLM produz resultados superiores a qualquer uma das fontes isoladamente.

4. Resultados

O framework foi avaliado em dois problemas de classificação:

• Códigos SIC (Indústria): O melhor modelo (GPT-4o mini treinado com GSnip + LLaMASum) alcançou um F1-score macro de 82,3%.
• Taxonomia de Saúde: O melhor modelo alcançou um F1-score macro de 72,9%.

Observações importantes dos resultados:

• Superioridade sobre o Prompting: O fine-tuning com o texto adquirido superou significativamente as tentativas de classificação apenas via prompting (onde o desempenho foi muito baixo, especialmente em saúde, indicando que os modelos não "decoraram" esses códigos específicos durante o pré-treinamento).
• Sinergia de Fontes: A combinação de GSnip (fatos brutos da web) com resumos de LLM (GPTSum ou LLaMASum) provou ser a estratégia mais robusta, pois o GSnip fornece fatos salientes e os LLMs fornecem estrutura e coesão semântica.
• Alta Precisão: Através do uso de limiares de confiança (confidence thresholds), os autores demonstraram que é possível alcançar precisão superior a 90% em modelos como o Longformer, permitindo a rotulação automática de novos dados com mínima intervenção humana.

5. Significância

Este trabalho é significativo por resolver o gargalo da "escassez de dados descritivos" para entidades de nicho. Ele permite que especialistas de domínio criem sistemas de classificação altamente precisos de forma rápida e escalável, sem a necessidade de curadoria manual de textos. A capacidade do framework de operar de forma eficaz em domínios tão distintos quanto o industrial e o médico valida sua generalização para qualquer tarefa de categorização de entidades no mundo real.