Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction

Resumen Técnico: La información semántica estructurada ayuda a recuperar mejores ejemplos para el Aprendizaje en Contexto aplicado a la Extracción de Relaciones de Pocos Disparos

Definición del Problema
La Extracción de Relaciones (RE, por sus siglas en inglés) es una tarea fundamental del Procesamiento de Lenguaje Natural (NLP) que implica la identificación de relaciones entre pares de entidades (por ejemplo, pares sujeto-objeto). Mientras que la RE supervisada tradicional requiere cientos o miles de ejemplos de entrenamiento por relación, la Extracción de Relaciones de Pocos Disparos (FSRE) tiene como objetivo realizar esta tarea con solo un nombre de relación, una breve descripción y un puñado de ejemplos (típicamente 1-shot). Los enfoques actuales de FSRE suelen depender de la clasificación basada en prototipos o métodos de vecino más cercano basados en embeddings, los cuales pueden carecer de flexibilidad ante cambios de dominio o de relación. Aunque el Aprendizaje en Contexto (ICL) con Modelos de Lenguaje de Gran Escala (LLMs) ofrece una alternativa prometedora, la estrategia óptima para seleccionar ejemplos adicionales que complementen el único ejemplo "dorado" (gold example) sigue sin explorarse profundamente. Específicamente, no está claro cómo equilibrar la necesidad de ejemplos que sean semánticamente similares al ejemplo dorado con la necesidad de diversidad en las estructuras de las oraciones y las elecciones léxicas para prevenir el sobreajuste a un único patrón.

Metodología
El artículo propone un marco para transformar automáticamente una configuración de RE de 1-shot en una de 5-shot o 10-shot mediante la generación o recuperación de ejemplos adicionales. El enfoque evalúa tres estrategias principales y una combinación híbrida:

1. Generación basada en LLM:

   • Parafraseo: La oración de soporte dorada es parafraseada por un LLM preservando el sujeto, el objeto y la relación.
   • Generación: Se generan nuevos ejemplos condicionados al nombre de la relación y su definición en lenguaje natural, fomentando la utilización de lexicalizaciones y estructuras de oraciones alternativas.

2. Recuperación de Corpora no Anotados:

   • Los autores recuperan ejemplos de un subconjunto grande del corpus UMBC WebBase (2.3M de oraciones).
   • Línea Base SBERT: Se utilizan embeddings de oraciones estándar para encontrar oraciones semánticamente similares.
   • Representaciones de Reglas Sintáctico-Semánticas (Novedad): En lugar de embeddings de oraciones completos, el método extrae reglas léxico-sintácticas que representan el camino de dependencia más corto entre las entidades sujeto y objeto. Estas reglas codifican elementos léxicos, relaciones de dependencia, direccionalidad y tipos de entidades nombradas.
   • Emparejamiento Semántico: Un modelo de auto-supervisión (SoftMatcher) aprende representaciones semánticas de estas reglas. La recuperación se realiza basándose en la similitud de coseno entre la representación de la regla del ejemplo dorado y las oraciones candidatas. Este enfoque se centra en el contexto específico indicativo de la relación en lugar del significado general de la oración.

3. Mejora de la Diversidad:

   • Para evitar la redundancia, los ejemplos candidatos se agrupan (usando k-means o k-means++) basándose en sus representaciones semánticas.
   • Se seleccionan ejemplos representativos de los grupos para asegurar una mezcla de similitud con el ejemplo dorado y diversidad estructural.

4. Estrategia Híbrida:

   • El marco combina ejemplos tanto de la generación por LLM como de la recuperación de corpus. Se utiliza un prompt para seleccionar un conjunto final de ejemplos adicionales (4 o 9) del grupo combinado, con el objetivo de equilibrar la alta similitud de los ejemplos generados por LLM con la diversidad realista de los ejemplos recuperados.

5. Formulación de la Tarea:

   • La tarea de 5-way 1-shot se reformula como cinco tareas de clasificación binaria independientes (una por relación) utilizando ICL.
   • Se aplica un filtro de Reconocimiento de Entidades Nombradas (NER) antes del ICL para descartar las relaciones candidatas que son incompatibles con los tipos de entidades en la oración de consulta, reduciendo significativamente el costo computacional.

Contribuciones Clave

• Nueva Estrategia de Recuperación: La introducción del uso de representaciones de reglas sintáctico-semánticas estructuradas (en lugar de embeddings de oraciones de nivel superficial) para recuperar ejemplos para ICL en FSRE. Este método captura la estructura relacional central entre las entidades.
• Mecanismos de Diversidad: La propuesta de agrupamiento explícito e ingeniería de prompts para asegurar que los ejemplos seleccionados ofrezcan diversas elecciones de palabras y estructuras de oraciones manteniendo la fidelidad de la relación.
• Marco Híbrido: La demostración de que combinar ejemplos generados por LLM (para similitud) y ejemplos recuperados (para diversidad) produce una representación más holística de la relación que cualquiera de los dos métodos por separado.
• Rendimiento de Vanguardia (SOTA): El establecimiento de nuevos resultados de vanguardia en el conjunto de datos FS-TACRED, particularmente para modelos de lenguaje más pequeños, sin requerir el ajuste fino (fine-tuning) del modelo ni anotaciones doradas adicionales.

Resultados
El marco fue evaluado en dos conjuntos de datos (FS-TACRED y un subconjunto personalizado de FS-FewRel) utilizando cuatro LLMs (Qwen3-4B, Qwen3-14B, Gemma3-4B y Gemma3-12B).

• Rendimiento: El enfoque híbrido superó consistentemente a las líneas base, incluyendo ICL de 1-shot, generación solo por LLM y recuperación basada en SBERT. En FS-TACRED, el método híbrido logró una puntuación F1 de 27.6 con Qwen3-4B (superando métodos previos de ajuste fino como SoftRules que lograron 24.8) y 37.8 con Qwen3-14B.
• Efectividad de las Reglas Semánticas: Los ejemplos recuperados utilizando reglas sintáctico-semánticas arrojaron consistentemente mejores resultados que aquellos recuperados vía SBERT o parafraseados por LLMs. Se encontró que los ejemplos basados en reglas eran más fieles a la relación y más diversos.
• Sensibilidad del Modelo: Los beneficios de la estrategia de recuperación fueron más pronunciados en modelos más pequeños (4B de parámetros). Los modelos más grandes (12B) mostraron ganancias inconsistentes, con algunas estrategias incluso degradando el rendimiento en comparación con la línea base de 1-shot, lo que sugiere que los modelos más grandes ya poseen suficiente conocimiento interno o son sensibles al aumento de prompts.
• Eficiencia: El enfoque híbrido añadió una carga computacional insignificante (un aumento de aproximadamente 0.5% en el tiempo de ejecución por episodio) en comparación con la generación de LLM por sí sola, ya que los pasos de recuperación y agrupamiento dependen de embeddings precomputados y son independientes del tamaño del LLM.

Significancia y Reivindicaciones
El artículo afirma que la información semántica estructurada es crítica para una selección de ejemplos efectiva en el Aprendizaje en Contexto para la Extracción de Relaciones de Pocos Disparos. Al ir más allá de la similitud de superficie (SBERT) o la generación simple, el método propuesto recupera ejemplos que son tanto realistas (de corpora no anotados) como estructuralmente fieles a la relación objetivo.

Los autores enfatizan que su enfoque:

1. Se transfiere bien a través de diferentes conjuntos de datos y familias de LLM sin necesidad de ajuste fino específico de la tarea.
2. Alcanza el estado del arte (SOTA) en FS-TACRED, demostrando que añadir ejemplos genuinos y recuperados puede superar a los modelos dedicados de pocos disparos que dependen del ajuste fino de arquitecturas más pequeñas.
3. Equilibra similitud y diversidad, mostrando que el rendimiento óptimo de ICL proviene de un "punto medio" donde los ejemplos son lo suficientemente similares para definir la relación pero lo suficientemente diversos para prevenir el sobreajuste a un único patrón sintáctico.

El trabajo destaca que, si bien los LLMs son poderosos, sus capacidades de aprendizaje en contexto para la RE pueden mejorarse significativamente fundamentando la selección de ejemplos en la estructura sintáctico-semántica subyacente del lenguaje, particularmente cuando los recursos computacionales o los datos de entrenamiento son limitados.