Resumo Técnico: KG-HTC

Definição do Problema

A Classificação Hierárquica de Texto (HTC) envolve a atribuição de documentos a rótulos organizados dentro de uma taxonomia de múltiplos níveis, uma tarefa crítica para domínios como categorização de e-commerce e gestão de literatura. Embora os métodos supervisionados tenham dominado pesquisas anteriores, eles enfrentam barreiras significativas em aplicações industriais do mundo real:

1. Escassez de Dados: A anotação manual de dados em múltiplos níveis hierárquicos é proibitivamente cara.
2. Espaços de Rótulos Grandes: As taxonomias frequentemente contêm centenas ou milhares de categorias folha (por exemplo, o conjunto de dados da Amazon possui mais de 500 categorias folha).
3. Distribuições de Cauda Longa: Os conjuntos de dados são frequentemente altamente desbalanceados, onde uma pequena fração de categorias frequentes domina, enquanto a maioria das classes é sub-representada.

Esses fatores tornam as abordagens supervisionadas padrão inadequadas para muitos cenários industriais, necessitando de uma mudança em direção a métodos de aprendizado zero-shot estrito. Abordagens zero-shot existentes, como aquelas que aproveitam o aprendizado em contexto (Halder et al.) ou a propagação de similaridade baseada em embeddings (Z-STC, HiLA), frequentemente lutam com a degradação de desempenho à medida que a hierarquia se aprofunda, falhando em navegar efetivamente em grandes espaços de rótulos esparsos.

Metodologia: KG-HTC

Os autores propõem o KG-HTC, um novo framework que integra Grafos de Conhecimento (KGs) com Modelos de Linguagem de Grande Escala (LLMs) para abordar os desafios da HTC em um cenário zero-shot. O método trata a taxonomia de rótulos como um Grafo Acíclico Direcionado (DAG) e emprega um pipeline de Geração Aumentada por Recuperação (RAG) para fornecer contexto semântico estruturado ao LLM.

A arquitetura do sistema opera através das seguintes etapas:

1. Armazenamento e Representação:

   • A taxonomia de rótulos é armazenada tanto em um Banco de Dados de Grafos (Neo4j) para preservar as relações hierárquicas pai-filho quanto em um Banco de Dados Vetorial (ChromaDB) contendo embeddings de todos os rótulos.
   • Esse armazenamento duplo permite que o sistema aproveite restrições topológicas para desambiguação semântica.

2. Recuperação de Subgrafo (RAG):

   • Dado um texto de entrada $x$, o sistema calcula seu embedding $\Psi(x)$.
   • Para cada nível hierárquico $l$, o sistema calcula a similaridade cosseno entre a entrada e todos os rótulos naquele nível.
   • Rótulos candidatos $Q_l$ são recuperados com base em um limiar de similaridade $\tau_l$.
   • O Algoritmo 1 valida dependências entre níveis: um rótulo candidato no nível $l$ é mantido apenas se seu rótulo pai existir no conjunto de candidatos do nível $l-1$. Esse processo constrói um subgrafo relevante (ou subárvore) a partir do grafo de conhecimento completo, filtrando ruído irrelevante.

3. Construção de Prompt:

   • O subgrafo recuperado é transformado em um prompt estruturado usando o Algoritmo 2.
   • O sistema realiza uma travessia de propagação ascendente, enumerando todos os caminhos válidos dos nós folha até a raiz.
   • Esses caminhos são serializados como sequências (por exemplo, Nível 1 -> Nível 2 -> Nível 3) e concatenados em um prompt. Essa representação baseada em cadeia garante que o LLM compreenda as restrições hierárquicas sem ser sobrecarregado por toda a taxonomia.

4. Classificação por Camadas:

   • O LLM realiza a classificação iterativamente do Nível 1 ao Nível $L$.
   • Para o primeiro nível, todos os rótulos de nível superior são incluídos no prompt.
   • Para níveis subsequentes, o conjunto de candidatos é restringido pelo rótulo previsto do nível anterior ($y_{l-1}$) combinado com novos candidatos recuperados ($Q_l$). Essa estratégia mitiga a propagação de erros e lida com espaços de rótulos grandes de forma eficiente.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Integração Inovadora: A introdução do KG-HTC, um método que integra Grafos de Conhecimento em LLMs especificamente para Classificação Hierárquica de Texto zero-shot estrita.
2. Pipeline de Recuperação Semântica: A implementação de um pipeline que recupera dinamicamente subgrafos semanticamente relevantes com base na similaridade cosseno e os transforma em prompts estruturados e hierárquicos, permitindo que o LLM raciocine sobre taxonomias complexas.
3. Avaliação Abrangente: Uma avaliação em profundidade demonstrando que o KG-HTC supera métodos zero-shot anteriores de última geração (Z-STC e HiLA) em três conjuntos de dados de código aberto, particularmente em níveis hierárquicos mais profundos.

Resultados Experimentais

Os autores avaliaram o KG-HTC em três conjuntos de dados: Avaliações de Produtos da Amazon (3 níveis), Web of Science (WoS) (2 níveis) e DBpedia (3 níveis). A métrica principal foi F1-macro, escolhida para contabilizar o desbalanceamento de classes.

• Ganhos de Desempenho: O KG-HTC superou significativamente tanto uma base fraca (classificação direta por LLM) quanto bases fortes (Z-STC e HiLA).
  • No conjunto de dados Amazon, o KG-HTC alcançou um F1-macro de 0,445 no Nível 3, comparado a 0,249 para o HiLA e 0,173 para o Z-STC.
  • No WoS, o KG-HTC alcançou 0,630 no Nível 2, superando o HiLA (0,371) e o Z-STC (0,462).
• Análise de Decaimento: O artigo introduz uma métrica de "taxa média de decaimento" para medir a perda de desempenho à medida que a taxonomia se aprofunda. O KG-HTC exibiu a menor taxa de decaimento (por exemplo, 0,15 na Amazon versus 0,43 para o HiLA), indicando que o método mantém robustez mesmo em hierarquias profundas e esparsas onde outros métodos falham.
• Estudos de Ablação:
  • Recuperação de Subgrafo: Substituir a recuperação de subgrafo baseada em RAG pelo grafo de conhecimento completo (Full-KG) resultou em desempenho inferior em níveis mais profundos, confirmando que filtrar o contexto relevante é crucial para lidar com grandes espaços de rótulos.
  • Generalização do Modelo: O método melhorou com sucesso o desempenho de um LLM de código aberto (Qwen2.5-8b) sobre sua base, demonstrando generalizabilidade além de modelos proprietários como o GPT-3.5-turbo.

Significado e Alegações

O artigo afirma que o KG-HTC aborda efetivamente os desafios centrais da HTC em configurações industriais: a falta de dados anotados, espaços de rótulos grandes e distribuições de cauda longa. Ao integrar conhecimento estruturado (via recuperação de subgrafo) com as capacidades generativas dos LLMs, o método permite classificação zero-shot precisa sem a necessidade de ajuste fino.

Os autores enfatizam que sua abordagem permite que os LLMs "compreendam a semântica dos rótulos em vários níveis hierárquicos" fornecendo restrições topológicas explícitas. Os resultados sugerem que incorporar conhecimento estruturado é um caminho viável para superar as limitações dos métodos atuais de HTC zero-shot, particularmente em cenários onde as distribuições de rótulos são altamente desbalanceadas e as taxonomias são profundas.

Limitações: Os autores observam que o método assume a disponibilidade de uma taxonomia de rótulos completa e correta; imprecisões no grafo de conhecimento subjacente degradariam o desempenho. Trabalhos futuros são propostos para focar no uso de LLMs para construir grafos de conhecimento mais robustos.