CrossCult-KIBench: A Benchmark for Cross-Cultural Knowledge Insertion in MLLMs

Resumo Técnico: CrossCult-KIBench e MCKI

Declaração do Problema
Modelos de Linguagem Grandes Multimodais (MLLMs), predominantemente treinados em dados centrados no inglês, frequentemente geram respostas culturalmente desalinhadas ou inadequadas quando implantados em contextos culturais não ingleses. Embora os métodos de adaptação existentes, como retreinamento ou ajuste fino conscientes da cultura, possam mitigar desalinhamentos amplos, eles exigem dados específicos da cultura em grande quantidade e frequentemente falham quando tal evidência é escassa. Por outro lado, as técnicas padrão de edição de conhecimento focam em corrigir erros factuais ou atualizar associações centradas em entidades, mas carecem de mecanismos para inserir conceitos condicionados à cultura que estão ausentes sem alterar o comportamento do modelo em outros contextos culturais. Essa lacuna exige um mecanismo preciso para inserção de conhecimento transcultural: a capacidade de suplementar MLLMs com conhecimento cultural específico para contextos-alvo, preservando ao mesmo tempo seu comportamento original em culturas não-alvo.

Metodologia
Para abordar isso, os autores introduzem o CrossCult-KIBench, um benchmark abrangente projetado para avaliar tanto a eficácia da inserção de conhecimento quanto seus efeitos colaterais não intencionais em culturas não-alvo.

• Construção do Benchmark: O CrossCult-KIBench abrange 49 cenários visuais culturalmente relevantes em três partições de língua-cultura: Inglês (contexto dos EUA), Chinês (contexto da China) e Árabe (contexto da região árabe). Os cenários são derivados da World Values Survey e categorizados em três grupos de tópicos: Valores/Atitudes e Estereótipos Sociais, Valores Religiosos e Valores/Normas Éticas. O conjunto de dados compreende 9.800 casos fundamentados em imagens, onde cada caso emparelha uma entrada visual com perguntas e respostas de referência específicas da partição. Crucialmente, as respostas entre as partições não são traduções, mas julgamentos culturais distintos para a mesma situação visual.
• Configurações de Avaliação: O benchmark suporta dois modos de avaliação:
  1. Inserção Única: Inserir conhecimento para uma partição específica (Chinês ou Árabe) em um modelo base.
  2. Inserção Sequencial: Inserir sequencialmente conhecimento para todas as três partições (Inglês, Chinês, Árabe) na mesma instância do modelo para testar estabilidade e coexistência.
• Métricas: O desempenho é medido usando ROUGE-L para sobreposição textual e um LLM como Juiz (gpt-5.4-mini) para consistência semântica. As métricas-chave incluem Confiabilidade (sucesso da inserção alvo), Generalidade (transferência para cenários semelhantes) e Localidade (preservação do comportamento em línguas não-alvo e cenários não relacionados).
• Linha de Base Proposta (MCKI): Os autores propõem a Inserção de Conhecimento Condicionada à Memória (MCKI) como um método de linha de base. O MCKI armazena amostras de inserção em uma memória externa. Para uma nova consulta, ele usa as próprias representações do MLLM congelado para gerar uma chave de roteamento. Um roteador leve compara a consulta com a memória; se uma correspondência exceder um limiar calibrado, o conhecimento cultural correspondente é pré-anexado como um prompt condicional. Caso contrário, o modelo decodifica normalmente usando seu estado base. Apenas o roteador é treinado, mantendo o MLLM base congelado.

Principais Contribuições

1. Formalização da Tarefa: O artigo formaliza a nova tarefa de inserção de conhecimento transcultural, distinguindo-a da adaptação cultural geral ou edição de conhecimento factual.
2. CrossCult-KIBench: A introdução de um benchmark rigoroso, fundamentado em imagens, abrangendo 49 cenários e 9.800 casos multilíngues, projetado especificamente para medir o sucesso da inserção juntamente com a preservação comportamental (localidade).
3. Linha de Base MCKI: A proposta do MCKI, uma abordagem baseada em memória que demonstra a viabilidade da adaptação cultural direcionada sem retreinamento completo, estabelecendo um benchmark de desempenho para trabalhos futuros.

Resultados Experimentais
Experimentos extensivos no InternVL3.5-8B e Qwen3.5-9B revelam desafios significativos em equilibrar a adaptação cultural com a preservação comportamental:

• Ajuste Fino: Alcança alta Confiabilidade, mas degrada severamente a Localidade Trans-Língua e Trans-Cenário, indicando que as atualizações de parâmetros sobrescrevem comportamentos culturais existentes.
• Aprendizado em Contexto (IKE): Preserva bem a localidade, mas mostra Confiabilidade limitada, pois sua eficácia depende fortemente da capacidade do modelo base de utilizar demonstrações em contexto.
• Métodos Baseados em Recuperação (SERAC, MSCKE): Mostram resultados mistos; embora melhorem a Confiabilidade, frequentemente sofrem de "confusão de recuperação", onde consultas não relacionadas ativam caminhos de substituição, corroendo a Localidade.
• Desempenho do MCKI: O MCKI demonstra um equilíbrio superior nas métricas. Alcança Confiabilidade e Generalidade competitivas, mantendo ao mesmo tempo altas pontuações de Localidade, particularmente na configuração de Inserção Única. Em tarefas de Inserção Sequencial, o MCKI mostra retenção mais forte de inserções anteriores em comparação com métodos de atualização de parâmetros, embora ainda enfrente desafios na transferência de conhecimento inserido para exemplos relacionados (Generalidade) após múltiplas atualizações sequenciais.

Significado e Afirmações
O artigo afirma que o CrossCult-KIBench e o MCKI estabelecem um framework fundamental para o desenvolvimento de MLLMs mais adaptáveis culturalmente e responsáveis. Os autores enfatizam que as abordagens atuais lutam para alcançar simultaneamente adaptação cultural eficaz e preservação comportamental, destacando uma limitação crítica nas estratégias existentes de edição de conhecimento e adaptação. Ao fornecer uma configuração de avaliação estruturada, o trabalho sublinha a necessidade de mecanismos precisos que possam suplementar modelos com conhecimento condicionado à cultura ausente sem comprometer seu desempenho em outros contextos. Os autores observam modestamente que seu benchmark usa partições de língua-cultura como proxies práticos para configurações culturais e não afirma capturar a diversidade interna completa das culturas, mas serve como um campo de testes operacional para mecanismos de inserção.