Resumen Técnico: ReLTEx – Expansión de Taxonomías Basada en LLM Fiable

1. Formulación del Problema

Las taxonomías proporcionan representaciones jerárquicas estructuradas del conocimiento, esenciales para aplicaciones como grafos de conocimiento y búsqueda semántica. Sin embargo, el mantenimiento manual es costoso y difícil de escalar a medida que los dominios evolucionan. Aunque la expansión automatizada de taxonomías ha sido explorada mediante patrones léxico-sintácticos, semántica distributiva y Modelos de Lenguaje Preentrenados (PLM), los métodos existentes enfrentan limitaciones significativas:

• Restricciones de Candidatos: La mayoría de los enfoques operan bajo un entorno restringido donde los conceptos candidatos se proporcionan de antemano, en lugar de generar nuevos conceptos dinámicamente.
• Alucinaciones e Inconsistencias de los LLM: La dependencia directa de los Grandes Modelos de Lenguaje (LLM) para la generación suele resultar en estructuras ruidosas, redundantes o jerárquicamente inconsistentes. Los conceptos generados pueden ser semánticamente ambiguos, redundantes (por ejemplo, "Pregunta" frente a "Consulta") o estar vinculados a padres inapropiados, comprometiendo la coherencia jerárquica.
• Propagación Recursiva: Sin una verificación estructural explícita, los errores en las relaciones padre-hijo pueden acumularse y propagarse durante la expansión recursiva, provocando una deriva semántica.

El problema central abordado es cómo realizar una expansión de taxonomía generativa —creando conceptos completamente nuevos de forma dinámica— asegurando al mismo tiempo que la estructura resultante sea semánticamente coherente y jerárquicamente consistente.

2. Metodología: El Marco de Trabajo ReLTEx

ReLTEx es un marco diseñado para combinar la generación de candidatos zero-shot basada en LLM con una validación consciente de la estructura y un control de expansión recursiva. El proceso opera en tres etapas distintas:

A. Generación de Candidatos Basada en LLM

El marco realiza un recorrido de profundidad (depth-first traversal) de la taxonomía semilla. Para cada nodo objetivo, construye un prompt que contiene:

• Contexto Jerárquico Local: La ruta desde la raíz hasta el nodo objetivo.
• Hijos Existentes: Para guiar el Nivel de Abstracción (granularidad).

Se instruye al LLM para generar un número fijo ($k$) de nuevos conceptos hijos, evitando duplicados, sinónimos o simples reformulaciones de los hermanos existentes. Los candidatos generados se someten a una normalización léxica básica para eliminar duplicados exactos antes de la validación.

B. Validación de Candidatos Consciente de la Estructura

Para filtrar alucinaciones o relaciones estructuralmente inconsistentes, ReLTEx emplea un mecanismo de validación guiada por clasificador. A diferencia de los métodos que dependen únicamente de la similitud semántica, este módulo aprende la compatibilidad estructural.

• Modelo: Un codificador DistilRoBERTa ajustado (fine-tuned) en pares de relaciones padre-hijo etiquetados.
• Formato de Entrada: Ruta [SEP] Padre [SEP] Hijo, donde la ruta representa la secuencia de ancestros.
• Datos de Entrenamiento:
  • Ejemplos Positivos: Edges taxonómicos válidos de la semilla.
  • Ejemplos Negativos: Negativos difíciles (hard negatives) generados mediante perturbaciones conscientes de la jerarquía, incluyendo bordes invertidos, confusiones de hermanos, confusiones de abuelo-hijo, desajustes de misma profundidad, confusiones de jerarquía cercana y relaciones aleatorias inválidas.
• Decisión: El clasificador devuelve una puntuación de confianza $s(p, v, c_i)$. Los candidatos con puntuaciones por encima de un umbral $\tau$ son aceptados; los demás son descartados.

C. Control de Expansión Recursiva

Para prevenir la propagación de errores y el crecimiento descontrolado, ReLTEx implementa un mecanismo de parada recursiva basado en las puntuaciones de confianza de los hijos aceptados:

1. Conteo Mínimo: Una rama solo continúa si tiene al menos $m$ hijos aceptados ($|A_v| \ge m$).
2. Estabilidad de Confianza: La expansión continúa solo si la confianza media de los hijos aceptados del nivel actual ($S(v)$) no cae significativamente por debajo de la confianza media del padre ($S(parent(v))$). Específicamente, $S(v) \ge S(parent(v)) - \delta$.

3. Contribuciones Clave

El artículo propone tres contribuciones principales:

1. Un Marco de Expansión Zero-Shot: Un sistema que aprovecha la información contextual de la jerarquía taxonómica para generar conceptos candidatos sin depender de un conjunto de candidatos predefinido.
2. Validación Consciente de la Estructura: Un mecanismo que utiliza un clasificador entrenado para mitigar alucinaciones y relaciones padre-hijo estructuralmente inconsistentes, diseñado específicamente para mejorar la fiabilidad de la expansión recursiva.
3. Protocolo de Evaluación Integral: Una estrategia de evaluación multifacética que combina métricas automáticas adaptadas, evaluación humana y evaluación de taxonomía basada en LLM (usando LITE).

4. Resultados Experimentales

El marco fue evaluado en dos bancos de pruebas: SemEval-2016 Task 13 (Environment) y Schema.org, utilizando un entorno de expansión de taxonomía enmascarada donde el 20% de los nodos hoja fueron ocultados como verdad fundamental (ground truth). Se probaron cuatro LLM de código abierto (Llama3.2, Mistral, Qwen3, DeepSeek-R1) como generadores.

Métricas Cuantitativas

• Recuperación: Todos los modelos demostraron la capacidad de recuperar conceptos ocultos. Mistral logró el mejor rendimiento general en el conjunto de datos más grande, Schema.org (mayor R@K, MRR y WuP), mientras que Llama3.2 funcionó mejor en el conjunto de datos más pequeño, SemEval.
• Semántico vs. Léxico: Qwen3 mostró fuertes capacidades de recuperación semántica, logrando altos puntajes de SoftRecall, lo que indica la capacidad de generar conceptos semánticamente equivalentes incluso sin coincidencias léxicas exactas.
• Estabilidad: DeepSeek-R1 exhibió puntuaciones de recuperación más bajas y mayor varianza, lo que sugiere una menor estabilidad a través de diferentes configuraciones de enmascaramiento.

Evaluación Humana

Los anotadores evaluaron las expansiones generadas en términos de Corrección Jerárquica (HC), Consistencia de Granularidad (GC) y No Redundancia (NR).

• Los resultados mostraron puntuaciones consistentemente altas en todos los modelos para HC, GC y NR, indicando que los conceptos aceptados están generalmente bien posicionados y son consistentes con el nivel de abstracción de la rama.
• Qwen3 logró los puntajes más altos de HC y GC en SemEval, mientras que Mistral y Qwen3 empataron en alta Recuperación Semántica (SR).

Evaluación Basada en LLM (LITE)

Utilizando el marco LITE para evaluar las taxonomías totalmente expandidas (expansión recursiva):

• Calidad Semántica (SCA): Las taxonomías enriquecidas mantuvieron altos puntajes de SCA, indicando que la expansión recursiva preserva la claridad semántica.
• Coherencia Lógica (HRR): La Racionalidad de la Relación Jerárquica se mantuvo o mejoró en general.
• Exclusividad/Independencia (HRE/HRI): La mayoría de los evaluadores asignaron puntuaciones iguales o superiores a las taxonomías enriquecidas, particularmente en el conjunto de datos de Environment.

5. Significado y Reivindicaciones

El artículo afirma que ReLTEx aborda la brecha crítica en la expansión de taxonomías automatizada al pasar del paradigma de "adjunción de candidatos" a la expansión generativa con controles de fiabilidad integrados.

• Fiabilidad: Al validar cada relación padre-hijo en su contexto jerárquico antes de la inserción, el marco reduce la acumulación de errores comunes en la generación recursiva de LLM.
• Calidad: La combinación de validación consciente de la estructura y criterios de parada recursiva produce taxonomías que no solo son semánticamente coherentes, sino también jerárquicamente consistentes.
• Evaluación: El trabajo establece un protocolo de evaluación más riguroso que tiene en cuenta los desafíos únicos de la expansión generativa (por ejemplo, variantes semánticas, nodos padres alternativos) mediante métricas adaptadas y evaluación de múltiples perspectivas (humana y de LLM).

Limitaciones Reconocidas

Los autores señalan que los experimentos dependen de modelos de código abierto relativamente compactos; modelos más grandes podrían ofrecer una mayor calidad. Además, el clasificador es una aproximación aprendida y puede aceptar ocasionalmente relaciones incorrectas. Finalmente, el campo carece de un banco de pruebas estandarizado para la expansión generativa recursiva, lo que dificulta las comparaciones directas a nivel de sistema.