Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

Resumo Técnico: Medição e Mitigação de Sobre-alinhamento para LLMs em Tribunais de Direito Penal Multilíngues

Declaração do Problema
A implementação de Modelos de Linguagem de Grande Escala (LLMs) em domínios jurídicos, particularmente em tribunais de direito penal, enfrenta um modo de falha específico que se distingue da alucinação geral ou do viés: o sobre-alinhamento (over-alignment). Embora os tribunais utilizem LLMs para tarefas de alto risco, como tradução e sumarização de documentos jurídicos sensíveis, os mecanismos padrão de alinhamento de segurança frequentemente desencadeiam recusas inapropriadas ou avisos de conteúdo não solicitados (disclaimers) ao processar arquivos de casos legítimos que envolvem crimes violentos ou sexuais.

No contexto do Tribunal Federal Suíço, onde os assessores processam rotineiramente descrições detalhadas de abusos sexuais e violência, esses gatilhos de segurança comprometem o trabalho legítimo. Os benchmarks existentes para sobre-recusa (ex: XSTest, OR-Bench) são insuficientes porque:

1. Focam em prompts adversariais apenas em inglês e não relacionados ao trabalho jurídico.
2. Medem apenas "recusas duras" (hard refusals), ignorando o sobre-alinhamento "suave" (soft), onde o modelo completa a tarefa, mas acrescenta avisos moralizantes (disclaimers).
3. Não consideram a natureza multilíngue dos sistemas jurídicos (francês, alemão, italiano, inglês) e como as combinações de idiomas afetam os gatilhos de segurança.

Metodologia: TF-RefusalBench
Para abordar essas lacunas, os autores introduzem o TF-RefusalBench, um benchmark multilíngue derivado de 100 extratos sensíveis de decisões públicas do Tribunal Federal Suíço.

• Construção de Dados:

  • Fonte: 16.000 decisões de direito penal públicas foram filtradas por parágrafos >1.000 caracteres contendo termos da lista LDNOOBW (palavras obscenas/violentas).
  • Seleção de Severidade: Um painel de três juízes de LLM diversos realizou comparações pareadas para classificar os extratos por severidade de conteúdo (detalhes gráficos, violência, exploração). Foram selecionados os 100 extratos mais severos, resultando em um conjunto de dados onde 89% do conteúdo se refere a crimes sexuais/menores e 11% a violência física.
  • Aumento de Dados: Para equilibrar a distribuição de idiomas (originalmente 71 alemão, 29 francês), traduções sintéticas foram geradas usando um modelo com salvaguardas fracas (Grok-4.3) para criar um corpus paralelo em francês, alemão, italiano e inglês.
  • Geração de Prompts: A partir de 400 passagens de origem, 13 variantes de prompts foram geradas por passagem, variando a tarefa (tradução vs. sumarização) e as lacunas de idioma: idioma da fonte ($S$), idioma alvo ($T$) e idioma da instrução ($P$). Isso resultou em 5.200 prompts únicos (15.600 consultas totais com 3 repetições cada).

• Métricas de Avaliação:

  • Recusa: O modelo declinou a tarefa por razões éticas/de conteúdo?
  • Disclaimer: O modelo acrescentou um aviso ou ressalva, apesar de completar a tarefa?
  • Julgamento: Três juízes de LLM distintos (MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash) pontuaram as saídas via voto majoritário. A concordância entre juízes foi alta para recusa ($\kappa \approx 0,98$) e substancial para disclaimers ($\kappa \approx 0,75\text{--}0,80$).

Principais Resultados
O estudo avaliou cinco modelos de pesos abertos (Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4) e revelou que o sobre-alinhamento é multifacetado e específico de cada modelo:

1. Além da Recusa: Taxas de recusa isoladas são insuficientes. Enquanto o Qwen3 apresentou 0% de recusa e disclaimer, o Gemma 4 e o Apertus raramente recusaram, mas adicionaram disclaimers a até 26,5% e 20,4% das saídas, respectivamente.
2. Assimetria de Idioma: Os gatilhos de segurança dependem fortemente do idioma de saída. Por exemplo, a taxa de recusa do Llama atingiu o pico ao produzir em francês (13,6%) comparado ao alemão (1,9%), enquanto a taxa de disclaimer do Gemma atingiu o pico em inglês (41,2%). Isso sugere que o ajuste de segurança é aplicado de forma desigual entre os idiomas.
3. Concordância de Idioma do Prompt: Instruir um modelo no idioma do texto sensível de origem (concordante) aumentou significativamente as taxas de recusa em comparação ao uso do idioma alvo (discordante). Para o Llama, instruções concordantes aumentaram as chances de recusa em 1,6x; para o GPT-OSS, em 2,6x.
4. Estocasticidade: O sobre-alinhamento não é determinístico. A decomposição de variância mostrou que ~27% da variação no comportamento de recusa/disclaimer deve-se à estocasticidade da amostragem, o que significa que o mesmo prompt pode gerar resultados diferentes em diferentes execuções.

Estratégias de Mitigação
O artigo investiga duas abordagens para mitigar o sobre-alinhamento no modelo Llama 3.3-70B:

1. Prompt de Sistema (System Prompting):

   • Um prompt de sistema curto identificando o usuário como um assistente judicial reduziu as taxas de recusa pela metade.
   • Um prompt de "autorização" (permitindo explicitamente conteúdo sensível) suprimiu os disclaimers de forma mais eficaz do que as recusas.
   • Combinar o idioma do prompt de sistema com o idioma da requisição reduziu ainda mais as recusas.

2. Ablateração (Abliteration):

   • Os autores aplicaram ablateração (remoção de direções de recusa das ativações do modelo via ortogonalização) usando a implementação Heretic.
   • Eficácia: Este método eliminou as recusas inteiramente (de 6,8% para 0%) e reduziu os disclaimers (de 7,9% para 5,1%).
   • Custo: Embora a qualidade da tarefa (fidelidade) tenha permanecido quase neutra (queda de <0,1 em uma escala de 5 pontos), a intervenção aumentou significativamente a vulnerabilidade a solicitações prejudiciais. No HarmBench, as taxas de sucesso de ataque subiram de 14,5% para 55,5%, e as pontuações do TruthfulQA caíram 7,1 pontos.

Significância e Alegações
O artigo afirma que o sobre-alinhamento em contextos jurídicos é um fenôço distinto e mensurável que não pode ser resolvido por benchmarks padrão de recusa focados apenas em inglês. Suas principais contribuições são:

• TF-RefusalBench: Um benchmark de acesso controlado projetado para diagnosticar o comportamento do modelo em trabalhos jurídicos sensíveis e legítimos através de múltiplos idiomas.
• Insight Diagnóstico: Demonstrar que o sobre-alinhamento "suave" (disclaimers) é tão prejudicial aos fluxos de trabalho jurídicos quanto as recusas duras e é altamente sensível às combinações de idiomas.
• Mitigação Prática: Mostrar que, embora o prompt de sistema ofereça alívio parcial, a ablateração é o método mais eficaz para eliminar recusas em implantações locais (on-premises), desde que a instituição aceite o compromisso de uma redução nas capacidades gerais de segurança.

Os autores enfatizam que sua abordagem é específica para o contexto institucional do Tribunal Federal Suíço, onde o equilíbrio entre segurança e a capacidade de processar documentos de direito penal legítimos é gerenciado dentro de um ambiente controlado e local. Eles não alegam que esses métodos sejam universalmente seguros para implantação pública, mas argumentam que são necessários para a utilidade específica e de alto risco dos LLMs no direito penal.