LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

Resumen Técnico: Los LLM como archivos culturales: Extracción de grafos de conocimiento de sentido común cultural

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) codifican vastas cantidades de conocimiento cultural derivado de datos a escala web, ofreciendo un recurso potencial para modelar el sentido común cultural a escala. Sin embargo, este conocimiento permanece en gran medida implícito, no estructurado y difícil de interpretar. Los enfoques computacionales existentes para el razonamiento del sentido común han tratado históricamente la cultura como algo neutral o centrado en Occidente (por ejemplo, ATOMIC), mientras que los esfuerzos recientes para construir bases de conocimiento cultural suelen depender de hechos estáticos y aislados de fuentes como Wikipedia o las redes sociales. Estos enfoques no logran capturar la naturaleza procedimental, secuencial y contextual de las prácticas culturales, que a menudo se definen por cadenas ordenadas de acciones en lugar de afirmaciones atómicas. Además, existe una falta de representaciones inferenciales estructuradas que reflejen las normas y prácticas locales en diferentes idiomas.

Metodología
Los autores proponen un marco iterativo basado en prompts para construir un Grafo de Conocimiento de Sentido Común Cultural (CCKG), tratando a los LLM como "archivos culturales" para extraer y estructurar sistemáticamente el conocimiento específico de cada cultura.

1. Construcción del marco:

   • Definición del grafo: El CCKG es un grafo dirigido etiquetado $G = (V, E)$ donde los nodos representan acciones y las aristas representan relaciones etiquetadas. Una aserción es una triple $(A_i, R, A_j)$ interpretada como "si ocurre la acción $A_i$, entonces la acción $A_j$ sigue".
   • Tipos de relación: El marco utiliza cinco tipos de relación: $xNext$ (siguiente acción del agente), $xEffect$ (efecto sobre el agente), $xNeed$ (pre-requisito para el agente), $oNext$ (siguiente acción de otros) y $oEffect$ (efecto sobre otros).
   • Proceso de extracción (Algoritmo 1):
     • Generación inicial: Dado un subtema, país e idioma, un LLM (GPT-4o) genera aserciones iniciales de tipo "si-entonces" basadas en tipos de relación predefinidos.
     • Expansión iterativa: La base de conocimientos se enriquece mediante dos mecanismos:
       • Expansión intermedia: Descomposición de un enlace directo $(A_i \to A_j)$ en una secuencia de pasos intermedios más finos.
       • Expansión hacia adelante: Generación de nuevas continuaciones comenzando desde la acción resultante $A_j$.
     • Poda: Para asegurar la eficiencia y reducir la redundancia, las acciones generadas se cotejan con nodos existentes mediante puntuaciones de similitud; los duplicados se fusionan y la lista de expansión se limita a seis aserciones por nodo.

2. Configuración experimental:

   • Alcance: El marco se aplicó a cinco países (China, Indonesia, Japón, Inglaterra, Egipto) cubriendo 11 temas de la vida cotidiana y 65 subtemas.
   • Idiomas: Los grafos de conocimiento se generaron tanto en inglés como en sus respectivos idiomas nativos (chino, indonesio, japonés, árabe).
   • Evaluación: Evaluadores humanos (hablantes nativos) evaluaron los grafos generados en tres dimensiones: Corrección (acciones y relaciones válidas), Relevancia Cultural (especificidad respecto a la cultura objetivo) y Coherencia del Camino Lógico (consistencia de las cadenas inferenciales).
   • Tareas de aplicación (downstream): El CCKG extraído se utilizó para aumentar modelos de lenguaje más pequeños para tres tareas: Respuesta de Opción Múltiple (MCQA), Completado de Oraciones y Generación de Historias. Los referentes (benchmarks) incluyeron IndoCulture y ArabCulture.

Contribuciones clave

1. Marco CCKG: La introducción de un método para extraer cadenas de conocimiento inferencial, multilingües y culturalmente específicas de los LLM, yendo más allá de los hechos estáticos hacia estructuras de razonamiento procedimentales de múltiples pasos.
2. Análisis empírico de la codificación cultural: Una evaluación sistemática que revela que, si bien los idiomas nativos capturan detalles culturales más ricos, el inglés suele ser un medio más coherente y consistente para representar grafos de conocimiento cultural dentro de los LLM actuales.
3. Aumento del rendimiento: La demostración de que el aumento de modelos más pequeños o base con el CCKG (mediante aserciones o rutas en el contexto) mejora significamente su rendimiento en tareas de razonamiento cultural y generación de historias, particularmente cuando se utilizan aserciones en el idioma nativo para contextos culturales específicos.

Resultados

• Calidad del grafo: En las evaluaciones humanas, los CCKG generados en inglés superaron consistentemente a las versiones en lengua nativa en términos de corrección, relevancia cultural y coherencia de ruta para culturas no inglesas (por ejemplo, chino, indonesio, árabe). Esto sugiere una asimetría en los LLM multilingües actuales donde el inglés actúa como un medio de representación más estable para el razonamiento cultural, probablemente debido a un preentrenamiento más rico.
• Tareas de razonamiento (MCQA): La integración del conocimiento del CCKG mejoró la precisión en los referentes IndoCulture y ArabCulture. El aumento con el idioma nativo produjo las mayores ganancias (promedio +1.2 puntos), superando al aumento en inglés y a los referentes existentes como Mango. Notablemente, el prompting de Cadena de Pensamiento (CoT) funcionó peor que el modelo base, lo que sugiere que el sentido común cultural depende más de un contexto intuitivo que de una lógica explícita paso a paso.
• Tareas de generación: Para el completado de oraciones y la generación de historias, el aumento con CCKG (específicamente basado en rutas) mejoró las puntuaciones de similitud y coherencia de las oraciones. En la generación de historias, la incorporación de rutas de CCKG aumentó consistentemente las puntuaciones de Relevancia Cultural (un incremento promedio de +1.4 para los modelos Llama), observándose las mejoras más significativas en la generación de historias en inglés, aunque la generación en lengua nativa también se benefició en casos específicos (por ejemplo, historias en indonesio con Llama3.1-8B-IT).
• LLM-como-juez: La evaluación automatizada utilizando LLM correlacionó fuertemente con los juicios humanos para historias en lengua nativa, pero mostró una correlación moderada o débil para las historias en inglés, particularmente en cuanto a fluidez y coherencia, probablemente debido a variaciones estilísticas y matices de traducción.

Significancia y afirmaciones
El artículo postula que los LLM pueden servir como "archivos culturales" viables para extraer conocimiento inferencial estructurado, siempre que el proceso de extracción sea sistemático. Los autores afirman que el conocimiento cultural estructurado en cadenas es un sustrato práctico para desarrollar sistemas de PLN culturalmente fundamentados.

El estudio destaca una limitación e idea crítica: a pesar del objetivo de modelar el razonamiento cultural local, los LLM actuales representan el sentido común cultural de manera más efectiva a través del inglés, incluso cuando el tema cultural es no inglés. Este hallazgo desafía la suposición de que los resultados en lengua nativa son inherentemente superiores para las tareas culturales y sugiere que el inglés puede actuar como un "pivote" para un razonamiento cultural coherente en los modelos actuales.

Los autores concluyen que, si bien su método es prometedor, es un prototipo de investigación. Advierten contra el uso del contenido extraído como un conjunto de datos formal para sistemas de producción sin abordar posibles riesgos, como el refuerzo de estereotipos, y enfatizan la necesidad de trabajos futuros que investiguen el sesgo y extiendan el marco a niveles culturales más finos.