Resumo Técnico: Schützen – Avaliando a Segurança de LLMs nos Contextos Búlgaro e Alemão

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios profissionais, mas os recursos existentes de avaliação de segurança permanecem esmagadoramente centrados no inglês e no chinês. Esta lacuna é crítica para línguas que operam dentro de estruturas socioculturais, legais e éticas compartilhadas, como as da Europa. Especificamente, línguas de baixos recursos como o búlgaro carecem de benchmarks de segurança nativos, enquanto línguas de altos recursos como o alemão são frequentemente avaliadas usando prompts traduzidos que falham em capturar normas culturais, restrições legais e sensibilidades políticas regionais. Os benchmarks multilingues atuais muitas vezes dependem de tradução direta, o que limita a capacidade de avaliar como os comportamentos de segurança se transferem entre línguas que compartilham um ambiente regulatório, mas diferem na disponibilidade de recursos.

Metodologia

Para abordar estas limitações, os autores introduzem o Schützen, um dataset de segurança bilíngue concebido para o alemão e o búlgaro. A metodologia envolve três componentes principais:

1. Construção do Dataset

O dataset compreende aproximadamente 8.000 prompts (3.978 por língua) derivados da série Do-not-Answer (DNA) e estendidos com conteúdo específico da região. O processo de construção enfatiza a localização cultural em vez da tradução direta:

• Estratégia de Localização: Perguntas de risco geral foram reescritas para refletir figuras locais, eventos históricos, políticas e convenções culturais (por exemplo, substituindo nomes genéricos por equivalentes locais como "Pepa" e "Senya" para o búlgaro, ou "Gertrude" e "Karina" para o alemão).
• Cobertura de Risco: O dataset abrange seis áreas de risco e 16 tipos de danos, incluindo Perigos de Informação, Usos Maliciosos, Discriminação/Toxicidade, Desinformação, Danos de Interação Humano-Chatbot e Sensibilidade Específica da Região (ex: eventos históricos controversos e tópicos políticos).
• Modos de Ataque: Os prompts são categorizados em três tipos:
  • Ataques Diretos (Ori): Consultas explicitamente arriscadas.
  • Ataques Indiretos (FN): Consultas de aparência benigna desenhadas para elicitar conteúdo inseguro.
  • Avaliações de Sobre-sensibilidade (FP): Consultas contendo termos sensíveis, mas que solicitam informações benignas para testar falsas recusas.

2. Estrutura de Avaliação

As respostas foram recolhidas de 15 LLMs, incluindo modelos multilingues (ex: GPT-4o, Claude-3.7, variantes Llama-4, EuroLLM-9B) e modelos específicos da língua (ex: série BgGPT para o búlgaro, série Leo/LLaMmlein para o alemão). A avaliação procedeu em duas etapas:

• Classificação Binária: Determinar se uma resposta é "Segura" ou "Insegura". Isto foi realizado através de abordagens baseadas em classificadores (Llama-Guard) e abordagens baseadas em raciocínio (critérios de risco customizados via GPT-4.1).
• Análise de Padrões Granulares:
  • Padrões Seguros: Categorizados em seis tipos, incluindo recusa direta, refutação de opinião, declarações abrangentes, respostas conscientes do risco com avisos, informação geral e admissão de incerteza.
  • Padrões Inseguros: Categorizados em quatro tipos: conteúdo nocivo geral, desinformação, violações de privacidade e conteúdo ofensivo/emocionalmente prejudicial.

3. Anotação Colaborativa Humano-IA

Os autores desenvolveram um pipeline onde os modelos geram rótulos e explicações preliminares, que são subsequentemente verificados por anotadores humanos. Esta abordagem foi validada contra a anotação exclusivamente humana, demonstrando maior concordância com métricas automáticas e melhor eficiência.

Principais Resultados

O estudo avaliou mais de 95.000 respostas através das duas línguas:

• Desempenho Geral de Segurança: A maioria dos modelos alcançou altas taxas de segurança (>95%). O Claude-3.7 obteve o maior desempenho de segurança para ambas as línguas (99,92% de respostas seguras). O BgGPT-27B teve o melhor desempenho entre os modelos centrados no búlgaro (99,57%), enquanto o Leo-mistral-hessianai-7B-chat liderou entre os modelos centrados no alemão (98,27%).
• Disparidades de Modelos: O LLaMmlein-7B-chat (alemão) e o BgGPT-2.6B (búlgaro) ficaram com as classificações mais baixas em segurança. Notavelmente, o GPT-4o teve um desempenho inferior em relação a outros sistemas de código aberto neste benchmark específico.
• Vulnerabilidades de Áreas de Risco: Em ambas as línguas, os Usos Maliciosos (Área de Risco IV) representaram o desafio mais significativo, contabilizando a maior parte das saídas inseguras.
• Sensibilidade ao Modo de Ataque: Embora os ataques diretos tenham gerado o maior número absoluto de respostas inseguras, os ataques indiretos foram mais eficazes a contornar salvaguardas quando normalizados pelo tamanho da amostra. Os oito modelos mais seguros mostraram taxas de insegurança mais elevadas sob ataques indiretos.
• Comportamento Translinguístico: Apesar das diferenças linguísticas, os modelos exibiram modos de falha semelhantes em ambas as línguas ao operar dentro do contexto regulatório europeu partilhado. No entanto, os modelos geralmente performaram melhor no alemão do que no búlgaro, destacando uma representação regional desequilibrada.
• Padrões de Resposta: As respostas seguras foram mais frequentemente realizadas como respostas informativas genéricas. Os comportamentos inseguros concentraram-se em fornecer informação incorreta (Padrão 7/8) ou em falhar ao expressar incerteza.

Significância e Alegações

O artigo alega que o Schützen é o primeiro benchmark bilíngue explicitamente desenhado para a avaliação de segurança de LLM em búlgaro e alemão. As suas principais contribuições são:

1. Avaliação Específica da Região: Ao combinar localização com uma comparação controlada de uma língua de baixo recurso (búlgaro) e uma de alto recurso (alemão) sob normas europeias partilhadas, o dataset revela discrepâncias de segurança translinguísticas que os benchmarks monolingues ou vagamente multilingues perdem.
2. Insights Empíricos sobre Transferência: Contrariamente à hipótese de que as línguas de baixo recurso mostrariam um alinhamento mais fraco, os resultados sugerem que, quando as culturas alvo partilham normas e políticas de segurança com ambientes de língua inglesa, as capacidades de segurança transferem-se de forma robusta, mesmo para línguas de baixo recurso.
3. Avanço Metodológico: O artigo demonstra a eficácia de um pipeline de anotação colaborativa Humano-IA, que melhora a concordância com métricas automáticas e reduz a dificuldade da tarefa em comparação com a anotação exclusivamente humana.
4. Recurso para Implementação Responsável: O dataset e o código fornecem um recurso prático para apoiar a implementação responsável de LLMs em contextos europeus onde fatores linguísticos e culturais interagem, abordando especificamente a lacuna na avaliação de segurança para regiões sub-representadas.

Os autores concluem que, embora os modelos atuais mostrem uma forte segurança geral, eles degradam-se visivelmente em conteúdos específicos da região, necessitando de recursos de avaliação personalizados e regionais para apoiar a implementação robusta de LLMs na Alemanha e na Bulgária.