Building Korean linguistic resource for NLU data generation of banking app CS dialog system

Este artículo presenta la construcción del Conjunto de Datos Anotados Financieros (FIAD), un recurso lingüístico coreano derivado de reseñas de aplicaciones bancarias y Grafos de Gramática Local, que se utiliza para generar datos de entrenamiento anotados que mejoran significativamente el rendimiento de diversos modelos de NLU en sistemas de diálogo de servicio al cliente bancario.

Lo esencial

Imagina que estás intentando enseñar a un robot cómo hablar con personas que están enfadadas o confundidas sobre sus cuentas bancarias. Para lograrlo, el robot necesita un "libro de texto" lleno de ejemplos de lo que la gente dice realmente. Pero aquí está el problema: las personas reales son desordenadas. Usan jerga, se enfadan, emplean diferentes niveles de cortesía y dicen lo mismo de mil maneras distintas. Recopilar suficientes ejemplos reales a mano es como intentar atrapar cada gota de lluvia en una tormenta con un cubo: lleva una eternidad y es increíblemente costoso.

Este artículo presenta una solución llamada FIAD (Conjunto de Datos Financieros Anotados). Piensa en FIAD no como un cubo de lluvia, sino como una fábrica de oraciones de alta tecnología.

Así es como funciona la fábrica, desglosada en pasos simples:

1. El Plano (Análisis de Datos)

Primero, los investigadores no solo adivinaron lo que la gente dice. Fueron a la "fuente": examinaron más de 126.000 reseñas de aplicaciones bancarias. Se centraron en las reseñas infelices (puntuaciones bajas) porque es allí donde es más probable que la gente diga: "¡Arregla esto!" o "¡No puedo hacer eso!". Utilizaron una herramienta informática para descomponer estas reseñas en sus bloques de construcción más pequeños (palabras y fragmentos gramaticales) para observar qué patrones surgían.

2. Las Tres Cintas Transportadoras (Construcción de Recursos)

En lugar de escribir oraciones una por una, construyeron una máquina con tres cintas transportadoras principales. Cada cinta añade una parte específica a la oración:

• Cinta A: El "Qué" (TEMA)
  Esta cinta contiene los sustantivos. Tiene dos contenedores:

  • Entidades: Nombres específicos como "Kakao Bank" o "Aplicación Toss".
  • Características: Palabras bancarias generales como "préstamo", "cuenta" o "velocidad".
  • Analogía: Esto es como una caja de bloques de Lego. Puedes elegir un bloque rojo (Kakao Bank) o un bloque azul (Aplicación Toss), pero todos tienen la misma forma (un sustantivo).

• Cinta B: La "Acción" (EVENTO)
  Esta cinta contiene los verbos y la lógica. Decide qué acción está ocurriendo, como "crear", "enviar" o "comprar".

  • El Filtro Inteligente: Esta cinta es inteligente. Sabe que puedes "crear" una cuenta, pero no puedes "crear" una velocidad. Verifica las reglas para asegurar que la acción coincida con el sustantivo. Si intentas poner "crear" junto a "velocidad", la máquina lo rechaza.

• Cinta C: El "Tono" (MARCADOR DISCURSIVO)
  Esta es la parte más única. En coreano, cómo terminas una oración cambia su significado y nivel de cortesía. Esta cinta añade el "sabor".

  • Puede añadir un final cortés ("¿Podría usted por favor...?"), una orden directa ("¡Hazlo!") o una pregunta ("¿Puedes...?").
  • También maneja los honoríficos (niveles de respeto). Así como podrías hablar de manera diferente con tu jefe que con tu mejor amigo, esta cinta puede generar oraciones que sean formales, corteses o informales.

3. La Línea de Ensamblaje (Generación de Datos)

Ahora ocurre la magia. La máquina conecta estas tres cintas.

• Elige un sustantivo de la Cinta A.
• Elige una acción coincidente de la Cinta B.
• Envuelve todo en un tono específico de la Cinta C.

Dado que la máquina puede combinar y mezclar estas partes de millones de maneras, puede generar 60 billones de oraciones posibles. Sin embargo, los investigadores no utilizan todas. Usan una fórmula para seleccionar primero las oraciones más naturales y cortas (porque la gente suele intentar ser breve).

4. La Prueba de Manejo (Experimentos)

Los investigadores tomaron las oraciones generadas por esta fábrica y las utilizaron para entrenar un modelo de IA (un cerebro digital) para comprender las solicitudes bancarias.

• El Resultado: La IA aprendió muy bien. Podía adivinar correctamente lo que el usuario quería (la "Intención") aproximadamente el 95% de las veces y podía identificar correctamente los detalles específicos (la "Entidad", como qué banco o qué producto) aproximadamente el 86% de las veces.
• La Comparación: Probaron diferentes "cerebros" (modelos preentrenados) para ver cuál funcionaba mejor con estos nuevos datos. El modelo que utilizaba un cerebro de idioma coreano específico (KorBERT) tuvo el mejor rendimiento.

La Conclusión

El artículo afirma que, en lugar de contratar a cientos de personas para escribir miles de oraciones a mano, puedes construir un libro de recetas lingüísticas (FIAD). Este libro contiene las reglas gramaticales, el vocabulario bancario y las reglas de cortesía. Siguiendo estas reglas, puedes hornear automáticamente un enorme "pastel" de datos de entrenamiento de alta calidad. Esto te permite enseñar a un chatbot bancario a comprender a los clientes coreanos de manera rápida, económica y precisa, sin necesidad de esperar a que personas reales escriban cada variación de una solicitud.

Resumen técnico

Resumen Técnico: Construcción de un Recurso Lingüístico Coreano para la Generación de Datos de NLU del Sistema de Diálogo de Atención al Cliente de una Aplicación Bancaria

Declaración del Problema
Los sistemas de diálogo orientados a tareas (TOD) dependen en gran medida de la Comprensión del Lenguaje Natural (NLU) para clasificar las intenciones del usuario y rellenar los huecos semánticos. Sin embargo, el desarrollo de modelos NLU robustos para el idioma coreano, particularmente dentro del dominio de atención al cliente (CS) bancario, se ve obstaculizado por la escasez de datos de entrenamiento anotados disponibles públicamente. Los recursos existentes suelen estar centrados en el inglés, restringidos por la privacidad o generados mediante crowdsourcing, lo que introduce ruido y carece de la diversidad lingüística necesaria. Además, las frases de solicitud en coreano exhiben patrones complejos que involucran marcadores discursivos específicos, honoríficos y predicados performativos que son difíciles de capturar sin recursos lingüísticos específicos del dominio. El desafío central es generar un conjunto de datos anotados a gran escala, de alta calidad y lingüísticamente diverso que refleje las restricciones sintácticas y semánticas específicas de los diálogos bancarios coreanos, sin incurrir en los costos prohibitivos de la anotación manual.

Metodología
El estudio propone la construcción de FIAD (Conjunto de Datos Anotados Financieros), un recurso lingüístico diseñado para generar datos de entrenamiento anotados para sistemas de diálogo de atención al cliente bancaria. La metodología sigue un proceso de tres fases:

1. Análisis de Datos: Los autores analizaron un corpus de 126.598 reseñas de aplicaciones bancarias (centrándose en reseñas con puntuación baja que contienen solicitudes y quejas) para extraer palabras clave principales, sustantivos, predicados y terminaciones flexivas utilizando la ponderación TF-IDF y el analizador morfológico Mecab-Ko.
2. Construcción de Recursos: Basándose en el análisis, FIAD se estructuró en tres componentes modulares representados como Grafos de Gramática Local (LGG):
   • TÓPICO: Dividido en ENTIDAD (entidades nombradas como nombres de bancos y nombres de productos) y CARACTERÍSTICA (sustantivos comunes relacionados con servicios como "préstamo" o "velocidad"). Estos módulos definen los huecos a rellenar.
   • EVENTO: Contiene patrones predicativos (verbos) que invocan módulos TÓPICO específicos basados en restricciones semánticas (por ejemplo, "crear" requiere una entidad "cuenta bancaria", no una entidad "velocidad").
   • MARCADOR DISCURSIVO: Codifica expresiones de múltiples palabras (MWE) que representan actos de habla (Solicitud de Información, Solicitud de Acción, Insatisfacción, etc.), tipos de oración (declarativa, imperativa, interrogativa, sugestiva) y sistemas de honoríficos coreanos (seis estilos de habla que van desde el formal estilo hapsyo hasta el informal estilo hay).
3. Generación de Datos: Los tres componentes se combinan mediante LGG de Enlace para generar frases. El sistema explora transiciones en Transductores de Estado Finito (FST) compilados a partir de los LGG. Para garantizar la naturalidad y la eficiencia, una fórmula de ponderación prioriza frases más cortas y se aplican reglas de conjugación del Dictionnaire Électronique du Coreen (DECO) a los verbos. Este proceso permite la generación de aproximadamente 60 billones de patrones de frases potenciales, de los cuales se pueden generar subconjuntos específicos basados en el tamaño deseado y las características lingüísticas.

Contribuciones Clave

• Recurso FIAD: La creación de un recurso lingüístico modular basado en LGG específicamente para el dominio bancario coreano, capaz de generar frases diversas, gramaticalmente correctas y semánticamente anotadas.
• Cobertura Lingüística: El modelado explícito de fenómenos lingüísticos específicos del coreano, incluida la naturaleza aglutinante del idioma, sistemas de honoríficos complejos y diversos marcadores discursivos para solicitudes, que a menudo se pasan por alto en la generación basada en plantillas estándar.
• Escalabilidad y Flexibilidad: Un sistema que permite a los investigadores ajustar el tamaño del conjunto de datos generado y las características lingüísticas (por ejemplo, niveles de cortesía, tipos específicos de entidades) seleccionando módulos específicos, ofreciendo una alternativa eficiente en tiempo al crowdsourcing o a la recolección manual.

Resultados Experimentales
Los autores evaluaron la utilidad de los datos generados por FIAD entrenando modelos NLU utilizando el marco RASA y el clasificador DIET (Transformadores de Entidad e Intención Dual).

• Comparación con la Línea Base: Un modelo DIET entrenado con datos de FIAD (sin incorporaciones BERT preentrenadas) logró una puntuación F1 de intención de 0.9142 y una puntuación F1 de entidad de 0.8377. Esto superó a un modelo DIET+BERT de línea base entrenado en un conjunto de datos de referencia NLU diferente en la clasificación de intenciones, aunque la extracción de entidades fue ligeramente inferior, atribuido a la complejidad de las combinaciones de TÓPICO.
• Incorporaciones Preentrenadas: La integración de modelos BERT coreanos preentrenados mejoró significativamente el rendimiento.
  • DIET+KorBERT logró la puntuación F1 de extracción de intenciones más alta (0.95).
  • DIET+KoBERT logró la puntuación F1 de extracción de entidades más alta (0.86).
  • Los resultados demuestran que los datos generados por FIAD entrenan eficazmente a los modelos para extraer intenciones y entidades, observándose ganancias de rendimiento cuando se combinan con incorporaciones preentrenadas.

Significado y Afirmaciones
El artículo afirma que FIAD proporciona una solución práctica y eficiente para construir datos de entrenamiento NLU en dominios con escasez de datos. Al aprovechar los Grafos de Gramática Local para codificar restricciones lingüísticas y honoríficos coreanos, el recurso genera grandes cantidades de frases "típicas y gramaticalmente adecuadas" con costos reducidos de mano de obra y tiempo en comparación con los métodos tradicionales de recolección de datos. El estudio concluye que la estructura modular de FIAD ofrece flexibilidad para construir datos de entrenamiento extensos adaptados a objetivos específicos, y los resultados experimentales confirman que los modelos entrenados con estos datos sintéticos pueden manejar eficazmente las tareas de extracción semántica requeridas para los sistemas de diálogo de atención al cliente bancaria coreana.