Resumen Técnico: Medición Efectiva del Rendimiento: Desafíos y Oportunidades en la Extracción de Indicadores Clave de Desempeño (KPI) de las Conferencias de Resultados

Declaración del Problema

Si bien las conferencias de resultados son una fuente crítica de información financiera en tiempo real para los inversores, la extracción de Indicadores Clave de Desempeño (KPI) de las mismas sigue siendo un desafío significativo. A diferencia de los documentos presentados ante la SEC (como los 10-Q y 10-K), que son estructurados, utilizan plantillas y a menudo emplean etiquetas XBRL, las conferencias de resultados son conversacionales, no estructuradas y carecen de etiquetas integradas. Este "cambio de dominio" crea una barrera lingüística donde los modelos entrenados en documentos estructurados no logran generalizar a la naturaleza fluida de las conferencias. Además, los conjuntos de datos y métodos existentes suelen depender de taxonomías predefinidas, las cuales no pueden capturar los KPI emergentes y abiertos que se discuten frecuentemente en estas llamadas.

Metodología

Los autores proponen un marco integral para abordar estos desafíos, transitando desde dominios estructurados establecidos hacia datos conversacionales no estructurados.

1. Creación de Puntos de Referencia (Benchmarks)

El estudio introduce tres conjuntos de datos novedosos derivados de 20 empresas del S&P 500:

• Punto de Referencia de Documentos SEC (SECB): Un conjunto de datos diseñado para preservar un contexto más amplio que trabajos anteriores (como HiFi-KPI), cerrando la brecha entre documentos estructurados y texto conversacional. Utiliza pseudo-etiquetas (regex_dollar, regex_percentage) para capturar KPI no anotados.
• Punto de Referencia de Conferencias de Resultados (ECB): Un conjunto de datos a gran escala de 10.477 fragmentos de conferencias de resultados de 2023–2024, segmentados por turnos de hablante.
• ECB-A (Anotado): Un subconjunto de evaluación de alta calidad que contiene 587 fragmentos con 2.460 entidades anotadas por expertos y 934 grupos relacionales. Las anotaciones fueron realizadas por un experto del dominio mediante un proceso de dos etapas (identificación seguida de verificación de relaciones) para distinguir entre métricas tradicionales (financieras) y no tradicionales (operativas).

2. Paradigmas Experimentales

Los autores evalúan dos enfoques distintos:

• Modelos Basados en Codificadores (Ajuste Fino): Evalúan las capacidades de generalización de modelos ajustados finamente en documentos SEC (SEC-BERT-Base, BERT-SL1000 y variantes) cuando se aplican a conferencias de resultados. Estos se tratan como tareas de etiquetado de secuencias.
• Aprendizaje en Contexto (Generativo): Utilizan Modelos de Lenguaje Grandes (LLM) de última generación (Llama-3.3, Qwen3-30B-A3B, Gemma-3-27B y Gemini 3 Pro) con prompting estructurado de pocos ejemplos (few-shot). Este enfoque emplea una estrategia de extracción de relaciones para extraer dinámicamente KPI sin depender de una taxonomía cerrada. El sistema identifica rangos de entidades (nombre del KPI, valor, alcance, fecha, modalidad) y los agrupa en grupos relacionales.

3. Métricas de Evaluación

La evaluación en ECB-A utiliza un sistema de puntuación multifacético:

• F1 Exacto: Requiere coincidencias exactas de cadenas tanto para el valor como para la etiqueta.
• F1 Semántico: Utiliza similitud de codificador cruzado (STSB-RoBERTa-Large) para permitir mapeos de muchos a uno, capturando la equivalencia semántica incluso si los límites léxicos difieren.
• F1 de Coincidencia: Una puntuación F1 suave que alinea las predicciones con las verdades fundamentales según el valor.
• Juez LLM: Una evaluación automatizada que utiliza DeepSeek-V3.2 para determinar si la extracción de un modelo es semánticamente equivalente a la anotación del experto.
• Evaluación Humana: Un paso final de validación que involucra a tres evaluadores para verificar la precisión de la salida agregada del sistema.

Resultados Clave

1. Limitaciones del Cambio de Dominio

Los modelos basados en codificadores ajustados finamente en documentos SEC (por ejemplo, SEC-BERT-Base) demostraron una pobre generalización hacia las conferencias de resultados. Si bien tuvieron un rendimiento razonable en conjuntos de datos estructurados (FiNER-139, HiFi-KPI), su rendimiento disminuyó significativamente en ECB-A, a menudo fallando al predecir etiquetas compatibles para los números extraídos. Esto confirma que el cambio lingüístico de documentos estructurados a llamadas conversacionales es un obstáculo mayor para los enfoques tradicionales de etiquetado de secuencias.

2. Rendimiento de Modelos Generativos

Los LLM generativos superaron significativamente a los codificadores entrenados en SEC en el dominio no estructurado de las conferencias de resultados.

• Gemini 3 Pro logró el mejor rendimiento con un F1 Exacto del 11,5% y extrajo el 45,5% de los KPI anotados según el Juez LLM.
• Métricas Semánticas: Si bien las puntuaciones de F1 Exacto se mantuvieron bajas (oscilando entre 3,2% y 11,5%), las puntuaciones de F1 Semántico fueron sustancialmente más altas (hasta 61,6% para Gemini 3 Pro). Esto indica que los LLM capturan con éxito conceptos y relaciones financieras subyacentes, incluso cuando tienen dificultades con límites léxicos estrictos.
• Escalado: El rendimiento mejoró con el escalado del modelo, lo que sugiere que la complejidad de la tarea se beneficia de capacidades de modelo más grandes.

3. Agregación del Sistema y Seguimiento Longitudinal

Al agregar salidas de múltiples modelos (Gemma, Llama, Qwen) y aplicar agrupamiento semántico (con un umbral de similitud de 0,85), los autores crearon un sistema capaz de un seguimiento longitudinal consistente de KPI sin ontologías predefinidas.

• El sistema identificó 1.323 KPI rastreados consistentemente durante al menos cuatro períodos para las 20 empresas.
• Validación Humana: El sistema agregado final alcanzó una precisión del 79,67% (478/600) en la evaluación humana, a pesar de un acuerdo moderado entre anotadores (Krippendorff's $\alpha$ = 0,429).
• Estudio de Caso: El sistema rastreó con éxito los "Ingresos por iPhone" a lo largo de múltiples trimestres, alineándose perfectamente con los valores reportados en la SEC, demostrando su utilidad para el análisis financiero.

Significado y Afirmaciones

El artículo afirma proporcionar una línea base robusta para la tarea emergente de extracción automatizada de KPI de conferencias de resultados. Sus contribuciones principales son:

1. Demostración del Límite de los Métodos Actuales: Muestra empíricamente que los modelos entrenados en documentos SEC estructurados no generalizan al lenguaje subjetivo, promocional y no estructurado de las conferencias de resultados.
2. Introducción de Puntos de Referencia: El lanzamiento de SECB, ECB y ECB-A llena una brecha crítica en los recursos de PLN financiero, proporcionando el primer conjunto de datos anotado por expertos específicamente para la extracción de KPI de conferencias de resultados.
3. Validación de LLM para Extracción Abierta: El estudio establece que los LLM, cuando se guían mediante prompting estructurado, pueden extraer eficazmente KPI emergentes de texto no estructurado, superando a los codificadores tradicionales.
4. Aplicación Práctica: El sistema propuesto permite el seguimiento consistente de KPI a lo largo del tiempo, ofreciendo una vía para un procesamiento más rápido y eficiente de nueva información financiera para el análisis de mercado.

Los autores permanecen modestos respecto al estado actual del arte, reconociendo que, si bien el sistema muestra promesa, la tasa de error requiere supervisión humana. Señalan que la alta variabilidad en la "cultura de llamadas" entre diferentes empresas y la ambigüedad inherente de las sesiones de preguntas y respuestas presentan desafíos continuos. La obra sirve como un paso fundamental hacia herramientas de toma de decisiones financieras en tiempo real, destacando que, aunque la autonomía total aún no se ha logrado, la trayectoria hacia una absorción eficiente y automatizada de datos de conferencias de resultados es viable.