Resumo Técnico: SPLIT – Empatia Cross-Lingual e Fundamentação Cultural em Respostas de LLMs em Inglês e Ucraniano

Declaração do Problema

A rápida implementação de Grandes Modelos de Linguagem (LLMs) em contextos de apoio emocional e relacionados a crises superou a pesquisa sobre suas capacidades cross-linguais, particularmente para línguas de recursos baixos a médios. Os benchmarks existentes enfatizam o desempenho multilíngue, mas frequentemente falham em examinar a empatia relacionada a crises e a fundamentação cultural. Existe uma lacuna crítica entre a fluência linguística e a capacidade de fornecer apoio emocional culturalmente apropriado. O artigo postula que produzir texto em um idioma específico (ex: ucraniano) não equivale a produzir apoio emocional culturalmente fundamentado nesse idioma. Este estudo aborda a inconsistência nas respostas dos LLMs ao transitar de línguas de alto recurso (inglês) para línguas de baixo a médio recurso (ucraniano) em cenários de alto risco relacionados a crises.

Metodologia

Dataset: O Benchmark SPLIT

Os autores introduzem o SPLIT, um benchmark de 500 prompts projetado para avaliar a consistência dos LLMs na geração de respostas emocionalmente fundamentadas. O dataset consiste em 500 consultas de apoio emocional distintas distribuídas em cinco categorias relacionadas a crises:

1. Estresse
2. Pânico
3. Solidão
4. Deslocamento Interno
5. Tensão

Os prompts foram gerados tanto em inglês quanto em ucraniano. Embora a tradução automática tenha sido a fonte primária para os dados em ucraniano, um falante nativo de ucraniano com proficiência C2 em inglês verificou rigorosamente uma amostra randomizada de 15% (n=75) para garantir a precisão da Geração de Linguagem Natural (NLG).

Seleção de Modelos

Três LLMs tecnicamente diversos foram avaliados como geradores de resposta:

1. DeepSeek-V3: Uma arquitetura de Mistura de Especialistas (MoE) com uma estratégia de perda auxiliar livre e treinamento de predição de múltiplos tokens.
2. LLaMA-3.3-70B-Instruct: Um modelo transformer denso padrão.
3. Gemini-2.5-Flash: Um modelo transformer de MoE esparso de código fechado com capacidades de raciocínio híbrido.

Estrutura de Avaliação

As respostas foram avaliadas em três dimensões usando uma escala de 1 a 5:

1. Precisão Empática: Identificação do estado emocional e evitar clichês.
2. Naturalidade Linguística: Preservação do fluxo natural, idiomas e expressões específicas à crise.
3. Fundamentação Contextual e Cultural: Adaptação ao idioma do usuário, contexto cultural e contexto específico da crise.

Paradigma de Avaliação

O estudo empregou uma abordagem de avaliação dupla:

• LLM-como-Júri: Três modelos de alto raciocínio (GPT-4o, Mistral Large e Claude 4.5 Sonnet) atuaram como um júri automatizado para pontuar todas as 3.000 respostas geradas (3 modelos × 500 prompts × 2 idiomas).
• Validação Humana: Um único falante nativo de ucraniano com proficiência C2 em inglês avaliou manualmente 10% das respostas (n=300).
• Análise Estatística: O estudo calculou coeficientes de correlação de Pearson ($r$), Erro Absoluto Médio (MAE) e Erro Médio (ME) para medir o alinhamento entre as avaliações humana e automatizada.

Resultados Principais

Disparidades de Desempenho (Avaliação Humana)

Uma disparidade de desempenho significativa foi observada quando os modelos transitavam do inglês para o ucraniano:

• Gemini-2.5-Flash e LLaMA-3.3-70B-Instruct: Ambos os modelos exibiram uma degradação severa no ucraniano. A pontuação de Naturalidade Linguística do LLaMA caiu 1,76 pontos (de 3,92 em inglês para 2,16 em ucraniano). A pontuação de Fundamentação Cultural do Gemini caiu 1,2 pontos.
• DeepSeek-V3: Este modelo permaneceu comparativamente estável, com pontuações em ucraniano igualando ou até superando ligeiramente sua linha de base em inglês. Por exemplo, sua pontuação de Fundamentação Cultural aumentou de 3,54 (EN) para 3,74 (UA).

Acordo Automatizado vs. Humano

A correlação entre o LLM-como-júri e os avaliadores humanos foi fraca e dependente da dimensão:

• Precisão Empática: Correlação positiva fraca, mas significativa ($r = 0,198$). O júri de IA mostrou um viés de leniência (ME = +0,281), frequentemente superestimando vocabulários empáticos básicos.
• Naturalidade Linguística: Correlação positiva fraca ($r = 0,149$). O júri de IA favoreceu fortemente a correção gramatical e a estrutura em detrimento de idiomas autênticos, resultando em um grande viés de leniência sistemático (ME = +0,506).
• Fundamentação Contextual e Cultural: A correlação foi negativa e não significativa ($r = -0,095, p > 0,05$). O júri automatizado falhou em reconhecer a adaptação cultural autêntica, por vezes penalizando respostas que humanos consideraram culturalmente apropriadas, mas estruturalmente divergentes de padrões normativos.

Observações Específicas

• O LLaMA exibiu "deriva linguística" (language drifting) e dependência de clichês em ucraniano, provavelmente devido à sua arquitetura transformer densa e aos dados de treinamento pesadamente concentrados em inglês.
• O Gemini exibiu um "viés de superalinhamento", produzindo roteiros excessivamente defensivos e orientados à segurança que careciam de profundidade emocional em ucraniano.
• A estabilidade do DeepSeek foi atribuída à sua estratégia de roteamento MoE e ao objetivo de predição de múltiplos tokens, que permitiu um melhor planejamento ao nível de frase em línguas morfologicamente ricas.

Principais Contribuições

1. Benchmark SPLIT: A introdução de um dataset especializado de 500 prompts focado na comunicação relacionada a crises em ucraniano, preenchendo uma lacuna em benchmarks de línguas de baixo recurso para apoio emocional.
2. Evidência Empírica de Divergência: O estudo fornece evidências baseadas em dados de que a competência multilíngue não equivale à competência multicultural. Os modelos podem gerar textos fluentes em ucraniano enquanto falham em fornecer apoio emocional culturalmente fundamentado.
3. Avaliação do LLM-como-Júri: O artigo avalia criticamente a confiabilidade da avaliação automatizada em contextos de apoio emocional, encontrando que, embora a IA possa aproximar-se do julgamento humano em métricas superficiais (gramática, empatia básica), ela falha significamente na avaliação da fundamentação cultural.
4. Insights Arquiteturais: Os resultados sugerem que arquiteturas MoE com roteamento especializado (como o DeepSeek-V3) podem oferecer melhor estabilidade cross-lingual em contextos emocionais comparadas a transformers densos ou modelos dependentes de grandes volumes de dados raspados da web de forma média.

Significância e Alegações

O artigo conclui que "Produzir texto em ucraniano não é equivalente a produzir apoio emocional em ucraniano."

Os autores argumentam que os benchmarks e métodos de avaliação atuais são insuficientes para aplicações de resposta a crises porque priorizam a fluência linguística e a coerência geral em detrimento da imersão cultural profunda. O estudo afirma que:

• LLMs implantados em contextos de crise requerem uma adaptação cultural mais profunda além da simples tradução de idiomas.
• A avaliação automatizada (LLM-como-júri) é pouco confiável para avaliar a fundamentação cultural, pois tende a recompensar a correção estrutural em vez da nuance cultural autêntica.
• O desenvolvimento futuro deve mudar de benchmarks meramente "multilíngues" para "multiculturais" que levem em conta as normas, valores e referências implícitas específicas de línguas de médio a baixo recurso.

O trabalho serve como um alerta para desenvolvedores que integram LLMs em sistemas de resposta a crises, enfatizando que a fluência linguística sozinha não é uma métrica suficiente para segurança e eficácia em cenários cross-linguais emocionalmente carregados.