Resumen Técnico: EBISU – Evaluación Comparativa de Modelos de Lenguaje Extensos en el Sector Financiero Japonés

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLM) enfrentan desafíos significativos al procesar el lenguaje financiero japonés debido a la intersección única entre la estructura lingüística y las normas de comunicación cultural. El japonés es una lengua aglutinante y de orden sintáctico final (head-final), donde la modalidad, la negación y la postura suelen codificarse a nivel de la oración en lugar de al principio. Además, la comunicación financiera en Japón depende fuertemente de una expresión de alto contexto e indirecta, donde los rechazos y los compromisos se transmiten frecuentemente a través de claves pragmáticas en lugar de declaraciones explícitas.

Los benchmarks existentes para modelos multilingües o financieros suelen estar optimizados para la comparabilidad entre lenguas y la supervisión escalable, favoreciendo contextos cortos, objetivos explícitos y esquemas de etiquetado estables. Estos marcos no logran capturar fenómenos centrales en las finanzas japonesas, como la inferencia de la intención a nivel de discurso a partir de frases indirectas o la resolución de la postura mediante la morfología de final de oración. Adicionalmente, la terminología financiera japonesa involucra compuestos nominales anidados y variantes de escritura mixta (kanji, hiragana, katakana), lo que crea ambigüedad en los límites de los términos y el alcance semántico, problemas que los modelos actuales luchan por resolver.

Metodología

Los autores presentan EBISU, un benchmark diseñado para evaluar la comprensión del lenguaje financiero nativo japonés a través de dos tareas anotadas por expertos:

1. JF-ICR (Reconocimiento de Compromiso Implícito Financiero Japonés)

• Objetivo: Evaluar la capacidad de un modelo para inferir la postura implícita (acuerdo, cautela o rechazo) en sesiones de preguntas y respuestas orientadas a inversores.
• Datos: 94 pares de pregunta-respuesta de un solo turno recolectados de llamadas de ganancias, reuniones de accionistas y presentaciones de resultados financieros de cuatro grandes empresas japonesas (2023–2026).
• Anotación: Anotado por expertos financieros de nivel nativo en japonés en una escala de cinco niveles: Compromiso Fuerte (+2), Compromiso Débil/Calificado (+1), Neutral/Cauteloso (0), Rechazo Débil (-1) y Rechazo Fuerte (-2).
• Métrica: Exactitud (Accuracy).

2. JF-TE (Extracción de Términos Financieros Japoneses)

• Objetivo: Evaluar la extracción y la jerarquización de la terminología financiera de divulgaciones profesionales, abordando específicamente los compuestos anidados y los préstamos con variantes de escritura.
• Datos: 202 instancias a nivel de nota extraídas de 10 Informes Anuales de Valores (Yūka shōken hōkokusho) vía EDINET, que contienen 2,412 menciones de términos curadas por expertos.
• Anotación: Los expertos identificaron los ámbitos (spans) máximos de términos financieros y sus subtérminos anidados.
• Métrica: Puntuación F1 para la extracción de términos máximos y HitRate@K (K=1, 5, 10) para la clasificación de términos anidados.

Protocolo de Evaluación

El benchmark evaluó 22 LLM diversos, incluyendo:

• Modelos de propósito general de código abierto (ej. Llama, Qwen, DeepSeek).
• Modelos propietarios de código cerrado (ej. GPT-4o, Claude, Gemini).
• Modelos específicos del dominio financiero en inglés.
• Modelos de propósito general en japonés y modelos específicos del dominio financiero en japonés.

La evaluación utilizó un pipeline unificado (LM Evaluation Harness) con configuraciones deterministas (temperatura=0) para garantizar la consistencia.

Resultados Clave

La evaluación revela que incluso los sistemas de última generación tienen dificultades significativas con las tareas financieras japonesas:

• Rendimiento General: El rendimiento sigue siendo bajo en todas las categorías de modelos. El mejor ejecutor general fue el modelo de código abierto Llama-3.3-70B-Instruct (Puntuación Media: 0.4011), mientras que los principales modelos propietarios como GPT-4o (0.2461) y Claude-Sonnet-4.5 (0.3618) mostraron una capacidad limitada.
• Impacto de la Escala: El aumento de la escala del modelo produce mejoras marginales (por ejemplo, +0.33 en Exactitud para JF-ICR y +0.38 en F1 para JF-TE al comparar modelos más grandes con más pequeños dentro de las mismas familias), pero estas ganancias son insuficientes para resolver los desafíos centrales.
• Impacto de la Adaptación:
  • Adaptación Lingüística: Los modelos adaptados al japonés no superaron consistentemente a sus contrapartes en inglés de escala similar. Por ejemplo, Llama-3.3-Swallow-70B-Instruct (adaptado al japonés) tuvo un rendimiento inferior a Llama-3.3-70B-Instruct (inglés).
  • Adaptación de Dominio: El preentrenamiento continuo en textos financieros japoneses a menudo degradó el rendimiento. El modelo financiero japonés nekomata-14b-pfn-qfin obtuvo una puntuación menor (0.0198) que su contraparte general japonesa (0.0251) y que su base original en inglés (0.0857).
• Análisis de Errores:
  • JF-ICR: Los errores se concentraron en fenómenos pragmáticos. Los modelos malinterpretaron frecuentemente los rechazos indirectos o la falta de compromiso estratégico como neutralidad o acuerdo débil, fallando en distinguir el compromiso genuino de las respuestas cautelosas. Los modelos centrados en el inglés exhibieron un sesgo sistemático hacia la sobreestimación del compromiso.
  • JF-TE: El rendimiento se deterioró con el aumento de la profundidad de los compuestos y la variabilidad de la escritura. La brecha entre HitRate@1 y HitRate@10 sugiere dificultades para resolver los límites de los términos y manejar las variantes, más que una falta de vocabulario financiero.

Contribuciones

El artículo realiza cuatro contribuciones principales:

1. Benchmark EBISU: Un benchmark enfocado en la comprensión del lenguaje financiero nativo japonés, dirigido a la inferencia de postura pragmática y la fundamentación de términos financieros bajo condiciones lingüísticas y de discurso específicas.
2. Nuevas Tareas y Conjuntos de Datos: La introducción de JF-ICR y JF-TE, que están profundamente arraigadas en las prácticas financieras japonesas y fueron anotadas por expertos del dominio con un alto acuerdo entre anotadores (Macro-F1 > 0.82).
3. Evaluación Exhaustiva: Un análisis diagnóstico de 22 LLM que aísla los efectos de la escala y la adaptación, demostrando que las estrategias actuales (escalado, adaptación de lenguaje, preentrenamiento de dominio) no capturan de manera confiable los mecanismos morfosintácticos y pragmáticos de las finanzas japonesas.
4. Recursos Públicos: La publicación de los conjuntos de datos, las guías de anotación y el código de evaluación para facilitar la investigación en NLP financiero con conciencia lingüística y cultural.

Significado y Reivindicaciones

Los autores posicionan a EBISU como una herramienta necesaria para avanzar el NLP financiero más allá de los paradigmas centrados en el inglés. El artículo sostiene que las estrategias actuales de escalado y adaptación no logran capturar los mecanismos lingüísticos y culturales específicos centrales en la comunicación financiera japonesa. Al exponer las dificultades sistemáticas en el reconocimiento del compromiso implícito y la clasificación de terminología, EBISU resalta una brecha sustancial entre las capacidades actuales de los modelos y los requisitos del análisis financiero japonés en el mundo real.

Los autores enfatizan que, si bien el benchmark es riguroso, no es un indicador de preparación para la producción. Advierten que un alto rendimiento en EBISU no garantiza la idoneidad para aplicaciones de alto riesgo, como el análisis de inversión automatizado o el cumplimiento regulatorio, sin una validación adicional. El benchmark tiene como objetivo impulsar el desarrollo de modelos que comprendan mejor la "estructura lingüística aglutinante y de orden final, los sistemas de escritura mixtos y las normas de comunicación de alto contexto" de las finanzas japonesas.