Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress

Resumo Técnico: "Amigo ou Inimigo? A linguagem como um interruptor ideológico em LLMs de pesos abertos sob estresse de desinformação russa"

Problema
O estudo aborda uma lacuna crítica na compreensão de como os Grandes Modelos de Linguagem (LLMs) de pesos abertos se comportam em ambientes de informação contestados, especificamente no contexto da guerra da Rússia contra a Ucrânia. Embora o discurso político e industrial frequentemente assuma que o ajuste fino (fine-tuning) culturalmente alinhado (por exemplo, um modelo ajustado para usuários ucrianos) codifica inerentemente a orientação política dessa comunidade e resiste a narrativas adversárias, essa suposição permanece não verificada. Os autores investigam se modelos de pesos abertos regionalmente ajustados — implantados sem camadas comerciais de segurança ou moderação de conteúdo — atuam como defesas resilientes contra a desinformação russa ou se inadvertidamente a amplificam. O problema central é o potencial de "transferência ideológica", onde os modelos absorvem e generalizam vieses políticos de seus corpora de treinamento, e a hipótese de que a linguagem da consulta pode funcionar como um "interruptor ideológico", ativando regiões distributivas latentes e conflitantes dentro do modelo.

Metodologia
A pesquisa emprega uma auditoria comparativa controlada de quatro LLMs que compartilham uma base arquitetônica comum: Gemma 3 (12B) (o modelo base neutro), Lapa (ajustado para o contexto linguístico/cultural ucraniano), Saiga (ajustado para o contexto russo) e MamayLM (uma variante de desenvolvimento búlgaro voltada para a soberania digital ucraniana).

O design experimental envolve:

• Estímulos: Dez afirmações de narrativas contestadas abrangendo cinco clusters temáticos: estatalidade/história ucraniana, governança/legitimidade (incluindo "desnazificação"), integridade territorial (Crimeia), atrocidades militares (Bucha/Mariupol) e direitos culturais/linguísticos.
• Arquétipos de Prompt: Dois formatos distintos foram usados para sondar diferentes camadas cognitivas:
  1. Especialista/Analítico: Um prompt estruturado exigindo que o modelo atue como um historiógrafo neutro, extraia argumentos e os classifique, forçando um processo de raciocínio de "Cadeia de Pensamento" (Chain-of-Thought).
  2. Lame/Conversacional: Um prompt não estruturado, coloquial, simulando um usuário de resposta rápida buscando informações superficiais.
• Condições Linguísticas: Todos os prompts foram administrados em três idiomas: inglês, ucraniano e russo.
• Medição: Os modelos foram forçados a atribuir porcentagens de probabilidade explícitas à "Posição A" (a posição histórica factual, internacionalmente reconhecida) versus a "Posição B" (a narrativa de desinformação russa).
• Configuração: Todos os testes utilizaram decodificação greedy (temperatura, top-p e penalidade de frequência definidos como zero) com system prompts nulos para contornar os alinhamentos de segurança e revelar as tendências brutas do modelo. Cada consulta foi repetida cinco vezes para garantir estabilidade determinística.

Resultos Principais
O estudo identifica um "Paradoxo do Ajuste Fino" que desconfirma sistematicamente a suposição de que o alinhamento cultural garante a resiliência política:

1. Deriva Contraintuitiva: O modelo orientado para a Ucrânia (Lapa) exibiu a menor resistência à desinformação russa, particularmente quando consultado em russo. Na condição de especialista em russo, a média de probabilidade do Lapa para a posição factual caiu para 50,5%, frequentemente atribuindo a maioria da probabilidade à narrativa de desinformação (Posição B). Por outro lado, o modelo orientado para a Rússia (Saiga) demonstrou a maior rejeição à desinformação russa, superando consistentemente o modelo base e a variante ucraniana em favor da precisão factual.
2. O Efeito do "Agente Oculto": A linguagem da consulta atua como um interruptor direcional. Para o Lapa, mudar a linguagem da consulta de inglês para ucraniano e depois para russo resultou em uma deriva progressiva para longe da posição factual, sugerindo que, em russo, o modelo retorna ao padrão dos dados de pré-treinamento em língua russa, que podem carecer de contra-narrativas robustas. Para o Saiga, as consultas em russo ativaram um corpus rico em contrapropaganda, levando a pontuações factuais mais altas.
3. Variância da Estrutura do Prompt: A interação entre o formato do prompt e o comportamento do modelo foi não linear. Em alguns casos (ex: a variante búlgara em russo), a mudança de prompts analíticos para conversacionais causou um deslocamento de quase 90 pontos nos escores de desvio. Em outros (ex: Gemma em russo), o prompt analítico levou a pontuações factuais menores do que o prompt conversacional, indicando que o raciocínio estruturado pode, por vezes, desacoplar o conteúdo argumentativo da base de conhecimento subjacente do modelo.
4. Resiliência Temática: Nem todos os tópicos foram igualmente suscetíveis à deriva. Narrativas sobre negação de atrocidades (Bucha/Mariupol) e anexação da Crimeia mostraram alta estabilidade em todos os modelos, provavelmente devido à densidade de documentação jurídica internacional nos corpora de treinamento. Em contraste, narrativas sobre legitimidade de governança ("desnazificação") e identidade nacional (tese do "um só povo") mostraram a maior variância e suscetibilidade à deriva ideológica.

Significância e Alegações
O artigo argumenta que a principal ameaça à soberania da informação regional não é necessariamente o ajuste fino adversarial em si, mas a suposição não testada de que o alinhamento cultural garante a resiliência. Os achados sugerem que:

• Composição do Corpus > Proveniência Cultural: A composição específica do corpus de ajuste fino (ex: a presença de literatura de contrapropaganda no discurso russo versus a ausência no discurso ucraniano) é um fator mais decisivo para o output ideológico de um modelo do que o alvo cultural nominal do ajuste fino.
• Linguagem como Amplificador: A linguagem da consulta não apenas recupera informações; ela ativa distribuições ideológicas específicas e, muitas vezes, conflitantes dentro do modelo. Um modelo ajustado para uma comunidade específica pode falhar em defender a narrativa dessa comunidade quando consultado em uma língua onde seu treinamento é escasso ou dominado por fontes adversárias.
• Implicações de Governança: O estudo desafia a noção de que modelos de pesos abertos podem ser implantados com segurança em ambientes de informação contestados baseando-se apenas em sua proveniência cultural. Ele destaca que modelos "desprotegidos" podem servir inadvertidamente como vetores para desinformação patrocinada por estados, não através de programação explícita, mas através da ativação de vieses latentes nos dados de treinamento quando acionados por combinações específicas de linguagem e prompts.

Os autores concluem que assegurar ambientes de informação exige ir além da suposição de alinhamento cultural e focar na curadoria rigorosa dos dados de treinamento para garantir uma documentação factual densa e de múltiplas fontes, particularmente para narrativas geopolíticas de alto risco.