Generating Hierarchical JSON Representations of Scientific Sentences Using LLMs

Resumen Técnico: Generación de Representaciones JSON Jerárquicas de Oraciones Científicas Mediante LLMs

1. Planteamiento del Problema

Las oraciones científicas suelen expresar una afirmación central compleja acompañada de condiciones, calificadores temporales o excepciones lógicas. Los métodos de representación anteriores (como esquemas planos tipo "A–relación–B") fallan al capturar dependencias a nivel de cláusula y lógica jerárquica, lo que resulta en una pérdida de información crítica. El objetivo de este estudio es determinar si las representaciones estructuradas, específicamente en formato JSON jerárquico, pueden preservar el significado semántico completo de las oraciones científicas y permitir su reconstrucción fiel.

2. Metodología

El enfoque propuesto se divide en cuatro etapas principales:

• Construcción del Dataset:

  • Se recopiló un conjunto de datos de 1,500 oraciones científicas de siete dominios (física, informática, matemáticas, economía, biología, química y medicina) extraídas de repositorios como arXiv, bioRxiv, ChemRxiv y PubMed.
  • Tras el preprocesamiento (eliminación de ecuaciones, símbolos y marcadores de citación), se conservaron 1,370 oraciones con significado completo.
  • Los datos se dividieron en: 1,096 para entrenamiento/validación y 274 para prueba.

• Generación de Datos de Entrenamiento:

  • Se utilizó GPT-4o para crear pares de datos de entrada (oración) y salida (JSON).
  • El JSON se diseñó con dos secciones principales:
    1. Core (Núcleo): Contiene una etiqueta genérica y la afirmación central.
    2. Hierarchy (Jerarquía): Estructura anidada que define relaciones y componentes conectados.
  • Se instruyó al modelo generador para evitar la copia palabra por palabra, comprimir el contenido (ningún campo >30% de la longitud original) y organizarlo lógicamente.

• Ajuste Fino (Fine-Tuning) del LLM:

  • Se seleccionó el modelo Mistral-7B (una arquitectura de ~7 mil millones de parámetros).
  • Se aplicó la técnica LoRA (Low-Rank Adaptation) en las capas de proyección de atención y feedforward, manteniendo el resto del modelo congelado.
  • Función de Pérdida Estructural Novel (Algoritmo 1): Se introdujo un mecanismo de entrenamiento que integra un agente de validación en tiempo real. Además de la pérdida de entropía cruzada estándar ($L_{CE}$), se calcula una penalización ($L_{struct}$) basada en la tasa de fallos al intentar analizar el JSON generado. Si el parser falla, se añade una penalidad al lote, forzando al modelo a generar JSON sintácticamente válido.

• Reconstrucción de Oraciones:

  • Las oraciones de prueba fueron convertidas a JSON por el modelo Mistral-7B ajustado.
  • Estos JSONs se utilizaron como entrada para GPT-4o, instruido para reconstruir la oración original en lenguaje natural basándose en la estructura jerárquica proporcionada.

3. Contribuciones Clave

• Formato de Representación Jerárquica: Propone un esquema JSON que separa la afirmación central de los componentes de soporte, superando las limitaciones de los esquemas planos.
• Función de Pérdida Estructural: Desarrollo de una función de pérdida personalizada que penaliza dinámicamente la generación de JSON inválido durante el entrenamiento, asegurando una alta tasa de éxito sintáctico sin necesidad de post-procesamiento complejo.
• Validación de Conservación Semántica: Demuestra experimentalmente que un modelo ligero (7B) puede comprimir información científica compleja en una estructura y permitir su recuperación con alta fidelidad semántica.

4. Resultados

• Validez Sintáctica: El 100% de las salidas del conjunto de prueba (n=274) fueron JSONs válidos, demostrando la eficacia de la función de pérdida estructural.
• Métricas de Similitud:
  • Similitud Semántica (Cosine Similarity): Promedio de 0.8724 (desviación estándar 0.0682). La mayoría de las oraciones mantuvieron una similitud superior a 0.85, indicando una retención robusta del significado.
  • Superposición Léxica: Métricas como BLEU (0.1496), ROUGE-1 F1 (0.5725) y METEOR (0.4907) mostraron variabilidad. Esto se debe a que la reconstrucción a menudo reordena la información o cambia la redacción para mantener la coherencia, aunque el significado central se preserve.
• Análisis de Casos:
  • Casos de alto rendimiento (ej. ID 185) mostraron similitud coseno de 0.944, recuperando la idea principal con cambios mínimos.
  • Casos de bajo rendimiento (ej. ID 134 y 522) con similitud coseno <0.57 se atribuyeron a la compresión excesiva de cláusulas o contenido lógico incompleto en la etapa de generación del JSON.

5. Significado e Impacto

Este estudio valida que las representaciones estructuradas jerárquicas son una alternativa viable y efectiva a los formatos de texto plano para el procesamiento de lenguaje natural en el dominio científico.

• Eficiencia: Permite que modelos de lenguaje más ligeros (como Mistral-7B) manejen tareas complejas de estructuración de datos sin requerir modelos masivos.
• Aplicabilidad: La capacidad de comprimir y reconstruir oraciones científicas sugiere que este enfoque puede utilizarse para la extracción de conocimiento, la indexación de bases de datos científicas y la mejora de sistemas de recuperación de información, donde la estructura lógica es tan importante como el contenido textual.
• Futuro: Los autores planean explorar pérdidas basadas en árboles para alinear mejor los roles semánticos y probar la robustez del sistema ante estructuras corruptas.