Resumo Técnico: ReLTEx – Expansão de Taxonomia Confiável Baseada em LLM

1. Formulação do Problema

As taxonomias fornecem representações hierárquicas estruturadas de conhecimento, essenciais para aplicações como grafos de conhecimento e busca semântica. No entanto, a manutenção manual é dispendiosa e difícil de escalar à medida que os domínios evoluem. Embora a expansão automatizada de taxonomias tenha sido explorada utilizando padrões léxico-sintáticos, semântica distributiva e Modelos de Linguagem Pré-treinados (PLMs), os métodos existentes enfrentam limitações significativas:

• Restrições de Candidatos: A maioria das abordagens opera sob um cenário restrito onde os conceitos candidatos são fornecidos antecipadamente, em vez de gerar novos conceitos dinamicamente.
• Alucinações e Inconsistências de LLMs: A dependência direta de Grandes Modelos de Linguagem (LLMs) para geração frequentemente resulta em estruturas ruidosas, redundantes ou hierarquicamente inconsistentes. Conceitos gerados podem ser semanticamente ambíguos, redundantes (ex: "Pergunta" vs. "Inquérito") ou anexados a pais inapropriados, comprometendo a coerência hierárquica.
• Propagação Recursiva: Sem verificação estrutural explícita, erros nas relações pai-filho podem se acumular e se propagar durante a expansão recursiva, levando ao desvio semântico (semantic drift).

O problema central abordado é como realizar a expansão generativa de taxonomia — criando conceitos inteiramente novos dinamicamente — garantindo que a estrutura resultante permaneça semanticamente coerente e hierarquicamente consistente.

2. Metodologia: O Framework ReLTEx

O ReLTEx é um framework projetado para combinar a geração de candidatos zero-shot baseada em LLM com validação consciente da estrutura e controle de expansão recursiva. O processo opera em três estágios distintos:

A. Geração de Candidatos Baseada em LLM

O framework realiza uma travessia de profundidade (depth-first traversal) na taxonomia semente. Para cada nó alvo, ele constrói um prompt contendo:

• Contexto Hierárquico Local: O caminho desde a raiz até o nó alvo.
• Filhos Existentes: Para guiar o Nível de Abstração (granularidade).

O LLM é instruído a gerar um número fixo ($k$) de novos conceitos filhos, evitando duplicatas, sinônimos ou simples refraseamentos dos irmãos existentes. Os candidatos gerados passam por uma normalização lexical básica para remover duplicatas exatas antes da validação.

B. Validação de Candidatos Consciente da Estrutura

Para filtrar relações alucinadas ou estruturalmente inconsistentes, o ReLTEx emprega um mecanismo de validação guiada por classificador. Diferente de métodos que dependem apenas de similaridade semântica, este módulo aprende compatibilidade estrutural.

• Modelo: Um codificador DistilRoBERTa ajustado (fine-tuned) em pares de relações pai-filho rotulados.
• Formato de Entrada: Caminho [SEP] Pai [SEP] Filho, onde o caminho representa a sequência de ancestrais.
• Dados de Treinamento:
  • Exemplos Positivos: Arestas taxonômicas válidas da semente.
  • Exemplos Negativos: "Negativos difíceis" gerados via perturbações conscientes da hierarquia, incluindo arestas invertidas, confusões de irmãos, confusões de avô-filho, desalinhamentos de mesma profundidade, confusões de hierarquia próximas e relações inválidas aleatórias.
• Decisão: O classificador produz um escore de confiança $s(p, v, c_i)$. Candidatos com escores acima de um limiar $\tau$ são aceitos; outros são descartados.

C. Controle de Expansão Recursiva

Para evitar a propagação de erros e o crescimento descontrolado, o ReLTEx implementa um mecanismo de parada recursiva baseado nos escores de confiança dos filhos aceitos:

1. Contagem Mínima: Um ramo só continua se possuir pelo menos $m$ filhos aceitos ($|A_v| \ge m$).
2. Estabilidade de Confiança: A expansão continua apenas se a confiança média dos filhos aceitos do nível atual ($S(v)$) não cair significativamente abaixo da confiança média do pai ($S(parent(v))$). Especificamente, $S(v) \ge S(parent(v)) - \delta$.

3. Principais Contribuições

O artigo propõe três contribuições primárias:

1. Um Framework de Expansão Zero-Shot: Um sistema que explora informações contextuais da hierarquia taxonômica para gerar conceitos candidatos sem depender de um pool de candidatos predefinido.
2. Validação Consciente da Estrutura: Um mecanismo usando um classificador treinado para mitigar alucinações e relações pai-filho estruturalmente inconsistentes, especificamente desenhado para melhorar a confiabilidade da expansão recursiva.
3. Protocolo de Avaliação Abrangente: Uma estratégia de avaliação multifacetada combinando métricas automáticas adaptadas, avaliação humana e avaliação de taxonomia baseada em LLM (usando LITE).

4. Resultados Experimentais

O framework foi avaliado em dois benchmarks: SemEval-2016 Task 13 (Environment) e Schema.org, utilizando um cenário de expansão de taxonomia mascarada onde 20% dos nós folha foram ocultados como verdade fundamental (ground truth). Quatro LLMs de código aberto (Llama3.2, Mistral, Qwen3, DeepSeek-R1) foram testados como geradores.

Métricas Quantitativas

• Recuperação: Todos os modelos demonstraram capacidade de recuperar conceitos ocultos. O Mistral alcançou o desempenho geral mais forte no conjunto de dados maior Schema.org (maiores escores de R@K, MRR e WuP), enquanto o Llama3.2 teve o melhor desempenho no menor conjunto de dados SemEval.
• Semântica vs. Léxica: O Qwen3 mostrou fortes capacidades de recuperação semântica, alcançando altos escores de SoftRecall, indicando habilidade de gerar conceitos semanticamente equivalentes mesmo sem correspondências léxicas exatas.
• Estabilidade: O DeepSeek-R1 exibiu escores de recuperação mais baixos e maior variância, sugerindo menor estabilidade entre diferentes configurações de mascaramento.

Avaliação Humana

Anotadores avaliaram as expansões geradas em Correção Hierárquica (HC), Consistência de Granularidade (GC) e Não-Redundância (NR).

• Os resultados mostraram escores consistentemente altos em todos os modelos para HC, GC e NR, indicando que os conceitos aceitos estão geralmente bem posicionados e consistentes com o nível de abstração do ramo.
• O Qwen3 alcançou os maiores escores de HC e GC no SemEval, enquanto o Mistral e o Qwen3 empataram em alta Recuperação Semântica (SR).

Avaliação Baseada em LLM (LITE)

Usando o framework LITE para avaliar as taxonomias totalmente expandidas (expansão recursiva):

• Qualidade Semântica (SCA): As taxonomias enriquecidas mantiveram altos escores de SCA, indicando que a expansão recursiva preserva a clareza semântica.
• Coerência Lógica (HRR): A Racionalidade da Relação Hierárquica foi geralmente mantida ou melhorada.
• Exclusividade/Independência (HRE/HRI): A maioria dos avaliadores atribuiu escores iguais ou superiores às taxonomias enriquecidas, particularmente no dataset Environment.

5. Significância e Alegações

O artigo afirma que o ReLTEx aborda a lacuna crítica na expansão automatizada de taxonomias ao ir além do paradigma de "anexo de candidatos" para a expansão generativa com verificações de confiabilidade integradas.

• Confiabilidade: Ao validar cada relação pai-filho em seu contexto hierárquico antes da inserção, o framework reduz o acúmulo de erros comuns na geração recursiva por LLM.
• Qualidade: A combinação de validação consciente da estrutura e critérios de parada recursiva produz taxonomias que não são apenas semanticamente coerentes, mas também hierarquicamente consistentes.
• Avaliação: O trabalho estabelece um protocolo de avaliação mais rigoroso que considera os desafios únicos da expansão generativa (ex: variantes semânticas, nós pais alternativos) através de métricas adaptadas e avaliação multiperspectiva (humana e LLM).

Limitações Reconhecidas

Os autores observam que os experimentos dependem de modelos de código aberto relativamente compactos; modelos maiores podem produzir maior qualidade. Além disso, o classificador é uma aproximação aprendida e pode ocasionalmente aceitar relações incorretas. Por fim, a área carece de um benchmark padronizado para expansão generativa recursiva, dificultando comparações diretas ao nível de sistema.