Resumen Técnico: FINESSE-Bench

Enunciado del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más en el análisis financiero, la elaboración de informes y la gestión de riesgos, la evaluación robusta de su competencia específica del dominio sigue siendo incompleta. Los benchmarks abiertos existentes, como FinQA, ConvFinQA y TAT-QA, han avanzado en la respuesta a preguntas financieras y el razonamiento numérico, pero se centran principalmente en la extracción de información de informes financieros. Carecen de una jerarquía explícita de dificultad profesional, fallando en medir la transición desde el conocimiento fundamental hasta el razonamiento de nivel experto. Además, recursos más amplios como FinanceBench, PIXIU y FinBen, aunque amplían la cobertura de tareas, a menudo subrepresentan dominios aplicados críticos como el análisis técnico, el comercio de derivados y la gestión de carteras basada en escenarios. En consecuencia, existe una brecha en la evaluación de cómo se degrada el rendimiento del modelo a medida que aumenta la complejidad de la tarea y de qué manera los modelos se generalizan a escenarios especializados y profesionalmente relevantes.

Metodología

Los autores introducen FINESSE-Bench, una suite de benchmarks jerárquica compuesta por ocho conjuntos de datos especializados con un total de 3.993 preguntas. El diseño se basa en dos principios fundamentales: jerarquía de dificultad y especialización de dominio.

Construcción del Conjunto de Datos

La suite integra tres tipos distintos de fuentes de datos:

1. Jerarquías Orientadas a Exámenes: Inspiradas en certificaciones profesionales, la suite incluye:
   • Niveles 1–3 similares a CFA: Que cubren ética, métodos cuantitativos, informes financieros, valoración y gestión de carteras. El Nivel 1 apunta a la alfabetización fundamental; el Nivel 2 se centra en conjuntos de elementos vinculados y cálculos de múltiples pasos; el Nivel 3 aborda la síntesis estratégica de nivel experto.
   • Nivel 2 similar a CMT: Enfocado en la teoría del análisis técnico, patrones de gráficos y estadísticas de mercado.
   • Nivel 1 similar a CFTe: Que cubre conceptos básicos de análisis técnico (tendencias, medias móviles).
2. Tareas de Trading Aplicado:
   • Trading_TA: Reconocimiento de patrones, estrategias de momentum y pruebas retrospectivas (back-testing).
   • Trading_derivatives: Valoración de opciones, griegas, cobertura y estrategias de arbitraje.
3. Razonamiento Estilo Olimpiada:
   • VLigaBench-ru: Un conjunto de datos en ruso de 324 problemas en micro/macroeconomía, matemáticas financieras y teoría de juegos, que enfatiza el razonamiento y el cálculo sobre la respuesta a preguntas estándar.

Protocolo de Evaluación

El benchmark emplea un protocolo de evaluación unificado para tipos de tareas heterogéneas (opción múltiple, respuestas numéricas, respuestas abiertas breves y preguntas vinculadas a casos).

• Puntuación: Para tareas donde la coincidencia exacta es insuficiente, los autores utilizan un paradigma de LLM como juez (específicamente usando GPT-5.2) para asignar puntuaciones binarias de corrección a respuestas de forma libre, basándose en la literatura de evaluación automatizada.
• Métricas: Las métricas principales incluyen la precisión con intervalos de confianza del 95% calculados mediante bootstrap. La evaluación analiza el rendimiento en tres grupos agregados: tipo examen, benchmarks públicos (para comparación) y trading/TA.
• Dimensiones de Análisis: El estudio investiga las brechas de transferencia entre benchmarks públicos y especializados, la degradación del rendimiento a través de los niveles de dificultad (Nivel 1 → 3), los efectos de escalado dentro de la familia y el poder discriminatorio de la dificultad de las preguntas (analizando las proporciones de preguntas de "fallo unánime", "éxito unánime" y "banda media").

Contribuciones Clave

1. Suite FINESSE-Bench: El lanzamiento de ocho conjuntos de datos especializados (3.993 preguntas) diseñados para evaluar competencias financieras de manera jerárquica, avanzando desde niveles fundamentales hasta expertos.
2. Diseño de Evaluación Jerárquico: Un marco que mide explícitamente la degradación del rendimiento a medida que los modelos transitan desde el conocimiento financiero básico hasta tareas complejas de múltiples pasos de nivel experto.
3. Ampliación de la Cobertura de Dominios: Inclusión de áreas subrepresentadas como el análisis técnico, el comercio de derivados y el razonamiento financiero en ruso, complementando los benchmarks existentes centrados en informes.
4. Protocolo Unificado: Un enfoque de evaluación estandarizado que combina la generación de prompts fija, la inferencia determinista y la puntuación mediante LLM como juez para tareas financieras heterogéneas.
5. Insights Diagnósticos: Evidencia empírica que demuestra que un buen rendimiento en benchmarks públicos clásicos no garantiza robustez en escenarios financieros especializados y orientados profesionalmente.

Resultados Clave

• Brecha de Transferencia: Existe una brecha de rendimiento consistente entre los benchmarks abiertos clásicos y los grupos de FINESSE-Bench. La mayoría de los modelos exhiben una brecha de transferencia positiva (degradación) al pasar de benchmarks públicos a tareas tipo examen o de trading/TA. Por ejemplo, los modelos financieros especializados (como Fin-R1, Fino1-8B) y los modelos generales más pequeños muestran caídas significativas (0.27–0.36) en el rendimiento en FINESSE-Bench en comparación con los conjuntos públicos.
• Jerarquía de Dificultad: La jerarquía similar a CFA captura eficazmente la degradación del rendimiento. Mientras que algunos modelos mantienen o mejoran ligeramente el rendimiento del Nivel 1 al Nivel 2, todos los modelos evaluados muestran una disminución distinta del rendimiento en el Nivel 3, confirmando la capacidad de la suite para probar la síntesis de nivel experto.
• Poder Discriminatorio: A diferencia de los benchmarks clásicos (como TAT-QA, FinQA) que a menudo tienen altas tasas de "éxito unánime" (preguntas resueltas por todos los modelos), los subconjuntos de FINESSE-Bench (especialmente los Niveles 2 y 3 similares a CFA y Trading_derivatives) contienen una alta proporción de preguntas de "banda media" (del 10–90% de los modelos resuelven correctamente). Esto indica una capacidad superior para diferenciar entre modelos de diversas capacidades.
• Perfiles de Modelos: Ningún modelo domina todos los grupos. Mientras que Claude Sonnet 4.6 lidera en benchmarks públicos, Qwen3.5-Plus-02-15 y Kimi K2.5 demuestran un equilibrio y una robustez superiores en los grupos tipo examen y de trading/TA. El benchmark también revela distinciones más finas dentro de las familias de modelos (por ejemplo, escalado de Qwen3), donde las brechas de rendimiento son más pronunciadas en FINESSE-Bench que en los conjuntos de datos públicos.

Significado y Afirmaciones

El artículo postula que FINESSE-Bench sirve como un complemento necesario a los benchmarks financieros abiertos existentes, en lugar de un reemplazo. Su importancia radica en su capacidad para exponer la "brecha de transferencia" entre la alfabetización financiera general (medida por benchmarks públicos) y una competencia robusta y profesionalmente relevante.

Los autores afirman que FINESSE-Bench proporciona:

• Diagnóstico Más Fino: Revela fortalezas y debilidades en dominios especializados (derivados, análisis técnico) que a menudo quedan enmascarados en las puntuaciones agregadas de benchmarks públicos.
• Evaluación Escalable: El diseño jerárquico permite a los profesionales rastrear la mejora del modelo no solo en precisión, sino en la retención de la calidad a medida que aumenta la complejidad de la tarea.
• Evaluación Realista: Al incorporar estructuras tipo examen y escenarios aplicados, la suite ofrece una evaluación más sustantiva de las capacidades de razonamiento financiero requeridas para despliegues de alto riesgo.

Los autores reconocen limitaciones, incluida la licencia no comercial debido a incertidumbres en la procedencia de los datos, el potencial de contaminación de datos y la falta actual de cobertura en subdominios específicos como el cumplimiento normativo y el análisis de seguros. Consideran a FINESSE-Bench como un primer paso extensible hacia un estándar más completo para evaluar LLMs financieros.