CrossCult-KIBench: A Benchmark for Cross-Cultural Knowledge Insertion in MLLMs

Resumen Técnico: CrossCult-KIBench y MCKI

Enunciado del Problema
Los Modelos de Lenguaje Multimodales (MLLM), entrenados predominantemente con datos centrados en inglés, generan con frecuencia respuestas culturalmente desalineadas o inapropiadas al desplegarse en contextos culturales no anglófonos. Si bien los métodos de adaptación existentes, como el reentrenamiento o el ajuste fino conscientes de la cultura, pueden mitigar la desalineación general, requieren grandes volúmenes de datos específicos de cada cultura y a menudo fallan cuando dicha evidencia es escasa. Por el contrario, las técnicas estándar de edición de conocimientos se centran en corregir errores fácticos o actualizar asociaciones centradas en entidades, pero carecen de mecanismos para insertar conceptos condicionados culturalmente que faltan sin alterar el comportamiento del modelo en otros contextos culturales. Esta brecha exige un mecanismo preciso para la inserción de conocimientos transculturales: la capacidad de complementar a los MLLM con conocimientos culturales específicos para contextos dirigidos, preservando al mismo tiempo su comportamiento original en culturas no objetivo.

Metodología
Para abordar esto, los autores introducen CrossCult-KIBench, una evaluación integral diseñada para evaluar tanto la eficacia de la inserción de conocimientos como sus efectos secundarios no deseados en culturas no objetivo.

• Construcción de la Evaluación: CrossCult-KIBench abarca 49 escenarios visuales culturalmente relevantes distribuidos en tres particiones de idioma-cultura: inglés (contexto de EE. UU.), chino (contexto de China) y árabe (contexto de la región árabe). Los escenarios se derivan de la Encuesta Mundial de Valores y se categorizan en tres grupos temáticos: Valores/Actitudes y Estereotipos Sociales, Valores Religiosos, y Valores/Normas Éticas. El conjunto de datos comprende 9.800 casos fundamentados en imágenes, donde cada caso empareja una entrada visual con preguntas y respuestas de referencia específicas de la partición. Crucialmente, las respuestas entre particiones no son traducciones, sino juicios culturales distintos para la misma situación visual.
• Configuraciones de Evaluación: La evaluación admite dos modos:
  1. Inserción Única: Insertar conocimientos para una partición específica (chino o árabe) en un modelo base.
  2. Inserción Secuencial: Insertar secuencialmente conocimientos para las tres particiones (inglés, chino, árabe) en la misma instancia del modelo para probar la estabilidad y la coexistencia.
• Métricas: El rendimiento se mide utilizando ROUGE-L para la superposición textual y un LLM como Juez (gpt-5.4-mini) para la consistencia semántica. Las métricas clave incluyen Fiabilidad (éxito de la inserción objetivo), Generalidad (transferencia a escenarios similares) y Localidad (preservación del comportamiento en idiomas no objetivo y escenarios no relacionados).
• Línea Base Propuesta (MCKI): Los autores proponen la Inserción de Conocimientos Condicionada por Memoria (MCKI) como método de línea base. MCKI almacena muestras de inserción en una memoria externa. Para una nueva consulta, utiliza las representaciones del MLLM congelado para generar una clave de enrutamiento. Un enrutador ligero compara la consulta con la memoria; si una coincidencia supera un umbral calibrado, el conocimiento cultural correspondiente se antepone como un prompt condicional. De lo contrario, el modelo decodifica normalmente utilizando su estado base. Solo se entrena el enrutador, manteniendo el MLLM base congelado.

Contribuciones Clave

1. Formalización de la Tarea: El artículo formaliza la nueva tarea de inserción de conocimientos transculturales, distinguiéndola de la adaptación cultural general o la edición de conocimientos fácticos.
2. CrossCult-KIBench: La introducción de una evaluación rigurosa fundamentada en imágenes que abarca 49 escenarios y 9.800 casos multilingües, diseñada específicamente para medir el éxito de la inserción junto con la preservación del comportamiento (localidad).
3. Línea Base MCKI: La propuesta de MCKI, un enfoque basado en memoria que demuestra la viabilidad de la adaptación cultural dirigida sin reentrenamiento completo, estableciendo un punto de referencia de rendimiento para trabajos futuros.

Resultados Experimentales
Extensos experimentos en InternVL3.5-8B y Qwen3.5-9B revelan desafíos significativos para equilibrar la adaptación cultural con la preservación del comportamiento:

• Ajuste Fino: Logra una alta Fiabilidad pero degrada severamente la Localidad Translenguaje y Transescenario, indicando que las actualizaciones de parámetros sobrescriben los comportamientos culturales existentes.
• Aprendizaje en Contexto (IKE): Preserva bien la localidad pero muestra una Fiabilidad limitada, ya que su eficacia depende en gran medida de la capacidad del modelo base para utilizar demostraciones en contexto.
• Métodos Basados en Recuperación (SERAC, MSCKE): Muestran resultados mixtos; si bien mejoran la Fiabilidad, a menudo sufren de "confusión de recuperación", donde consultas no relacionadas activan rutas de reemplazo, erosionando la Localidad.
• Rendimiento de MCKI: MCKI demuestra un equilibrio superior en las métricas. Logra una Fiabilidad y Generalidad competitivas mientras mantiene puntuaciones altas de Localidad, particularmente en la configuración de Inserción Única. En tareas de Inserción Secuencial, MCKI muestra una mayor retención de inserciones anteriores en comparación con los métodos de actualización de parámetros, aunque aún enfrenta desafíos para transferir conocimientos insertados a ejemplos relacionados (Generalidad) después de múltiples actualizaciones secuenciales.

Significado y Afirmaciones
El artículo afirma que CrossCult-KIBench y MCKI establecen un marco fundamental para desarrollar MLLM más adaptables culturalmente y responsables. Los autores enfatizan que los enfoques actuales luchan por lograr simultáneamente una adaptación cultural efectiva y una preservación del comportamiento, destacando una limitación crítica en las estrategias existentes de edición de conocimientos y adaptación. Al proporcionar una configuración de evaluación estructurada, el trabajo subraya la necesidad de mecanismos precisos que puedan complementar a los modelos con conocimientos condicionados culturalmente que faltan sin comprometer su rendimiento en otros contextos. Los autores notan modestamente que su evaluación utiliza particiones de idioma-cultura como proxies prácticos para configuraciones culturales y no afirma capturar la diversidad interna completa de las culturas, sino que sirve como un campo de pruebas operativo para mecanismos de inserción.