LLM-based Triplet Extraction from Financial Reports

Resumen Técnico: Extracción de Tripletes de Informes Financieros Mediante LLM

1. Planteamiento del Problema

Los informes financieros corporativos son una fuente invaluable de conocimiento estructurado para la construcción de Grafos de Conocimiento (KG). Sin embargo, extraer esta información presenta dos desafíos críticos:

• Falta de Datos de Verdad Terrena (Ground Truth): A diferencia de dominios como las noticias, no existen conjuntos de datos anotados manualmente para informes financieros, lo que hace imposible evaluar la precisión y el recuerdo mediante métricas tradicionales.
• Alucinaciones y Confianza: Los Modelos de Lenguaje Grande (LLM) son propensos a la alucinación (generar contenido no fiel al texto fuente). En el ámbito financiero, donde la exactitud factual es obligatoria, esto representa un riesgo inaceptable.
• Complejidad Lingüística: Los informes financieros utilizan sintaxis compleja, voz pasiva y agentes omitidos, lo que dificulta la extracción precisa de sujetos y relaciones.

El objetivo del trabajo es desarrollar una tubería (pipeline) semi-automatizada para la extracción de tripletes Sujeto-Predicado-Objeto (SPO) que no dependa de datos de entrenamiento anotados, sino de métricas impulsadas por ontologías.

2. Metodología

Los autores proponen un enfoque basado en métricas proxy (Ontología y Fidelidad) en lugar de la comparación con una verdad terrena.

• Pipeline de Extracción:

  • Preprocesamiento: Los informes se dividen en fragmentos (chunks) de 5 oraciones con solapamiento cero para mitigar el fenómeno "lost-in-the-middle" (pérdida de información en contextos largos).
  • Estrategias de Ontología (O): Se comparan dos enfoques:
    1. Ontología Manual ($O_{Manual}$): Una ontología estática diseñada manualmente basada en un informe específico (Volvo), aplicada tanto a ese informe como a uno externo (Elekta) para probar la generalización.
    2. Inducción Automática de Ontología ($O_{Auto}$): Un enfoque dinámico donde un LLM (Gemini-2.5 Flash) induce una ontología específica para cada documento y fragmento, añadiendo solo los conceptos y relaciones necesarios para describir ese contenido específico.
  • Modelos Evaluados: Se probaron dos LLMs: Gemini-2.5 Flash (M1) y Llama 4 Maverick (M2).

• Estrategia de Verificación Híbrida (Clave para la Fidelidad):
  Para evaluar la "Fidelidad" (si la información extraída está realmente en el texto) sin anotación manual, se propone una estrategia de dos pasos:

  1. Coincidencia Regex Estricta: Busca la entidad exacta en el texto.
  2. Juez LLM (LLM-as-a-judge): Si la coincidencia exacta falla, un segundo LLM actúa como juez para determinar si la entidad está presente semánticamente (resolviendo problemas de coreferencia, variaciones morfológicas o sustitución de pronombres).

• Métricas de Evaluación:

  • Conformidad con la Ontología (OC): Porcentaje de tripletes que usan relaciones válidas de la ontología.
  • Tasas de Alucinación:
    • SH (Sujeto): Sujeto no encontrado en el texto.
    • OH (Objeto): Objeto no encontrado en el texto.
    • RH (Relación): Relación no definida en la ontología.

3. Contribuciones Clave

1. Análisis Comparativo de Ontologías: Demostración de que la inducción automática de ontologías específicas del documento es superior a las ontologías estáticas manuales en términos de adherencia al esquema y reducción de alucinaciones.
2. Evaluación de Arquitecturas de Modelos: Identificación de diferencias sistemáticas en cómo los modelos siguen restricciones estrictas (M1 es conservador; M2 tiende a la deriva ontológica si el esquema no está adaptado).
3. Estrategia de Verificación Híbrida: Validación de que combinar Regex con un "Juez LLM" reduce drásticamente las falsas positivas en la detección de alucinaciones, especialmente en sujetos.

4. Resultados Principales

• Validación de la Verificación Híbrida:

  • La verificación por Regex estricto mostró una tasa de alucinación de sujeto (SH) del 65.2%.
  • Tras aplicar la verificación híbrida (LLM-as-a-judge), la tasa de SH cayó al 1.6%. Esto demuestra que la mayoría de las "alucinaciones" iniciales eran en realidad resoluciones de coreferencia legítimas (ej. cambiar "El Grupo" por "Volvo") que el Regex no detectaba.

• Impacto de la Estrategia de Ontología:

  • La estrategia $O_{Auto}$ logró un 100% de Conformidad con la Ontología (OC) en todas las configuraciones (ambos modelos y ambos informes).
  • La estrategia $O_{Manual}$ falló con el modelo M2, especialmente en el informe fuera de dominio (Elekta), mostrando una OC del 89.4% y una tasa de alucinación de relación (RH) del 10.6%.
  • Conclusión: La inducción automática elimina la deriva ontológica al adaptar el esquema al contenido específico, reduciendo la ambigüedad y mejorando la eficiencia de la ventana de contexto.

• Desempeño del Modelo:

  • Gemini-2.5 Flash (M1): Mostró un comportamiento estrictamente conservador, manteniendo 100% de OC y 0% de RH en todas las pruebas.
  • Llama 4 Maverick (M2): Tiende a priorizar la fluidez semántica sobre la rigidez del esquema, generando relaciones no permitidas cuando se le obliga a usar una ontología manual estática. Sin embargo, con la ontología automática, su rendimiento mejoró drásticamente, alcanzando 100% de OC.

• Asimetría en Alucinaciones:

  • Se observó que las alucinaciones de Sujeto (SH) son más frecuentes que las de Objeto (OH).
  • Causa: Los informes financieros usan frecuentemente voz pasiva y omiten agentes, obligando al modelo a inferir sujetos que no están explícitamente en el texto. Los objetos, por el contrario, suelen ser cantidades numéricas o nombres concretos que se pueden copiar literalmente.

5. Significado y Conclusión

Este trabajo es significativo porque ofrece un marco viable para la extracción de conocimiento en dominios de alta precisión (finanzas) donde los datos anotados son inexistentes.

• Adaptabilidad: Demuestra que las ontologías dinámicas y específicas del documento superan a las ontologías estáticas generales, eliminando la necesidad de ingeniería manual intensiva y reduciendo la deriva semántica.
• Evaluación Realista: La estrategia de verificación híbrida corrige las métricas de evaluación tradicionales, evitando penalizar al modelo por resoluciones de coreferencia inteligentes que son semánticamente correctas pero no coinciden literalmente.
• Recomendación: Para la construcción de Grafos de Conocimiento financieros, se debe priorizar la inducción de ontologías específicas del documento y utilizar verificación semántica (LLM-as-a-judge) en lugar de coincidencia de cadenas estricta para medir la fidelidad.

El estudio concluye que la combinación de una ontología inducida automáticamente y una verificación híbrida permite lograr una extracción de tripletes altamente fiel y conforme al esquema, mitigando los riesgos de alucinación inherentes a los LLMs en contextos financieros.