Resumo Técnico: Avaliação Sem Referência de Taxonomias

Definição do Problema

As taxonomias são essenciais para organizar informações, permitindo a classificação hierárquica, o enriquecimento de recursos de aprendizado de máquina e a melhoria de tarefas de zero-shot. Embora tradicionalmente criadas manualmente, o volume crescente de dados não estruturados tem impulsionado o desenvolvimento de métodos automatizados de geração e extensão de taxonomias.

O principal desafio na avaliação desses métodos automatizados é a ausência de uma "verdade fundamental" (ground truth) para a taxonomia. A avaliação tradicional baseia-se na comparação de taxonomias geradas contra um padrão ouro utilizando métricas como Precisão, Recall e F1. No entanto, se uma verdade fundamental existisse, não haveria necessidade de gerar ou estender a taxonomia em primeiro lugar. As métricas existentes sem referência falham frequentemente ao não contabilizar mutações em nós não-folha, negligenciar a severidade dos erros, depender excessivamente de priors dentro de modelos de base ou ignorar a adequação lógica (por exemplo, se um conceito filho é verdadeiramente um subtipo de seu pai). Consequentemente, há uma necessidade de medidas de avaliação robustas e sem referência que possam avaliar a qualidade da taxonomia sem um padrão ouro.

Metodologia

Os autores propõem duas novas métricas sem referência direcionadas a aspectos distintos da qualidade da taxonomia: Robustez e Adequação Lógica.

1. Robustência: Correlação de Similaridade de Conceitos (CSC)

A robustez mede o quão bem uma taxonomia distingue entre conceitos e o quão próximos estão os conceitos irmãos.

• Limitação das Métricas Existentes: Métricas anteriores como a Proximidade Semântica (SP) tratam grupos de irmãos como aglomerados planos, ignorando a estrutura hierárquica. Elas são insensíveis a erros onde nós não-folha são posicionados incorretamente.
• Abordagem Proposta (CSC): Os autores assumem que, em uma taxonomia de alta qualidade, a similaridade semântica e a similaridade taxonômica devem ter uma correlação monotônica.
  • Similaridade Taxonômica: Calculada usando a Similaridade de Wu & Palmer (WPS), que considera o comprimento do caminho a partir da raiz e a profundidade do Ancestral Comum Mais Próximo (LCA).
  • Similaridade Semântica: Calculada usando a similaridade de cosseno entre embeddings de conceitos (gerados por sentence-transformers).
  • Métrica: A correlação de postos de Kendall ($\tau$) entre os escores de similaridade semântica e os escores de similaridade taxonômica em todos os pares de conceitos na taxonomia. Uma alta correlação positiva indica uma taxonomia robusta.

2. Adequação Lógica: Verificação por NLI (NLIV)

A adequação lógica avalia se as arestas pai-filho representam relações "é-um" válidas (pares hiperônimo-hipônimo).

• Abordagem: A métrica trata a taxonomia como um grafo onde uma classificação é um percurso da raiz até uma folha. A qualidade da taxonomia depende da probabilidade de que esses percursos sejam logicamente válidos.
• Estimativa de Probabilidade de Aresta: Os autores utilizam modelos de Inferência de Linguagem Natural (NLI) em um cenário zero-shot para estimar a probabilidade de uma aresta pai-filho ser válida.
  • Prompting: Para uma aresta $\langle c_i, c_{i+1} \rangle$, uma premissa é construída usando a descrição do filho ($D(c_{i+1})$) e a hipótese é a afirmação de relacionamento (ex: "$c_{i+1}$ é um tipo de $c_i$").
  • Variantes:
    • NLIV-S (Forte): A premissa deve implicar a hipótese.
    • NLIV-W (Fraca): A premissa deve não contradizer a hipótese.
  • Padrões de Hearst: Para melhorar a robustez, os autores calculam a média das estimativas sobre múltiplos templates de padrões de Hearst (ex: "é um tipo de", "é um exemplo de").
• Agregação: A adequação de toda a taxonomia é calculada como a média geométrica das probabilidades das arestas através de percursos de classificação aleatórios, ponderada para garantir que erros em níveis superiores (que afetam mais descendentes) impactem o escore de forma mais significativa do que erros em folhas.

Configuração Experimental

Os autores avaliaram estas métricas em cinco taxonomias através de diversos domínios (Alimentos, Verbos, Termos Médicos, Wikidata e uma taxonomia de receitas proprietária).

• Avaliação Intrínseca: Taxonomias de verdade fundamental foram artificialmente degradadas por relocar subgrafos aleatoriamente (mutando de 2% a 32% dos nós). As métricas propostas foram comparadas contra o F1 resultante (contra o original) e métricas existentes (SP, RaTE).
• Avaliação Extrínseca: As métricas foram testadas em sua capacidade de prever o desempenho subsequente em tarefas de classificação hierárquica (Web of Science, MN-DS, DBPedia). As taxonomias de rótulos foram degradadas, e a queda resultante no desempenho de classificação F1 macro foi correlacionada com os escores das métricas sem referência.

Principais Resultados

• Correlação com a Verdade Fundamental: As métricas propostas (CSC e NLIV-S) demonstraram fortes correlações com os escores F1 contra as taxonomias de verdade fundamental, superando métricas existentes como SP e RaTE. Notavelmente, a SP falhou em detectar mutações em nós não-folha, enquanto CSC e NLIV foram sensíveis tanto a erros de folha quanto de não-folha.
• Predição de Downstream: Na avaliação extrínseca, as métricas CSC e NLIV mostraram associação substancial com o desempenho de classificação hierárquica subsequente. Em contraste, a SP mostrou correlações negativas ou fracas, e a RaTE frequentemente falhou em prever o desempenho em certos conjuntos de dados (ex: DBPedia) sem ajuste fino específico do domínio.
• Análise de Sensibilidade:
  • Erros Realistas: Quando as mutações foram restritas a conceitos semanticamente similares (os 100 vizinhos mais próximos de WPS), as métricas NLIV mantiveram alta correlação, enquanto a correlação da CSC diminuiu (como esperado, já que a CSC mede a forma global).
  • Estabilidade do Modelo: As métricas mostraram alta consistência (Kendall's $\tau$) ao utilizar diferentes modelos de base para embeddings e NLI, sugerindo que o ranking das taxonomias permanece estável através das escolhas de modelos.
  • Perturbação de Entrada: As métricas permaneceram robustas quando os nomes dos conceitos foram substituídos por sinônimos, embora as métricas NLIV tenham mostrado uma sensibilidade ligeiramente maior a mudanças de entrada em comparação com a CSC.

Significância e Alegações

O artigo afirma introduzir as primeiras métricas sem referência que avaliam efetivamente tanto a robustez estrutural quanto a validade lógica de taxonomias sem exigir um padrão ouro.

• Independência de Domínio: A abordagem é projetada para ser independente de domínio, baseando-se em modelos de linguagem pré-treinados em vez de heurísticas específicas de domínio.
• Detecção de Erros: Ao contrário de trabalhos anteriores, estas métricas podem detectar erros em nós não-folha e verificar a validade lógica das relações pai-filho, o que é crítico para taxonomias geradas automaticamente.
• Utilidade Prática: Os autores demonstram que estas métricas podem servir como um proxy para a qualidade da taxonomia, prevendo quão bem uma taxonomia desempenhará em tarefas de classificação hierárquica subsequentes.
• Aplicação Futura: Os autores sugerem que estas métricas podem ser usadas para comparar taxonomias alternativas, identificar erros individuais (identificando percursos de classificação improváveis ou grande discordância semântica-taxonômica) e potencialmente servir como objetivos de otimização para algoritmos de geração de taxonomias.

Os autores mantêm-se modestos quanto às limitações, observando que, embora as métricas sejam independentes de domínio, os modelos de linguagem subjacentes não o são, o que pode introduzir vieses. Eles também alertam que os escores não são diretamente comparáveis entre diferentes espaços de conceitos devido às variações no desempenho dos modelos de base.