Resumo Técnico: Sobre-recusa em Pequenos LLMs On-Premises em Contextos Jurídicos Criminais

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais adotados por profissionais do direito para tarefas "seguras", como tradução, sumarização e reformulação, sua implementação em contextos jurídicos criminais introduz riscos significativos em relação ao viés e à confiabilidade. Um modo de falha crítico e subexplorado é a sobre-recusa (overrefusal), onde os modelos rejeitam consultas benignas que se assemelham superficialmente a conteúdos prejudiciais devido ao treinamento de alinhamento de segurança.

Este artigo investiga um cenário específico: um especialista jurídico moderadamente competente usando um LLM pequeno e on-premises (≤8B parâmetros) por razões de privacidade. O estudo postula que mesmo usos inócuos podem introduzir vieses sistêmicos se o modelo recusar seletivamente a assistência com base no contexto de uso (por exemplo, a natureza do caso ou as partes envolvidas). O problema central é que os mecanismos de segurança padrão podem ser instáveis sob os enquadramentos "institucionais" específicos que usuários jurídicos reais naturalmente introduzem, podendo levar a um desempenho diferencial que ameaça os direitos humanos em processos judiciais.

Metodologia

Configuração Experimental

O estudo restringiu a implementação a modelos de instrução de pesos abertos (open-weight) pequenos, executados localmente para evitar que guardiões (guardrails) de APIs externas pudessem enviesar os resultados. Quatro modelos foram avaliados:

• Llama 3.1 8B
• Gemma 4 E4B (efetivo ~4.5B/8B)
• Qwen 3 8B
• Apertus-8B-Instruct-2509

Os modelos foram servidos localmente via Ollama com uma temperatura de amostragem de $T=0$ e parâmetros de inferência padrão.

Engenharia de Prompt e Condições

Os pesquisadores utilizaram 200 prompts por categoria de cinco classes específicas no conjunto de dados OR-Bench (Overrefusal-Bench): Violência, Sexual, Prejudicial, Antiético e Ilegal. Esses prompts são construídos para parecerem tóxicos, mas são, na verdade, benignos.

Cada prompt foi avaliado sob quatro condições de enquadramento distintas:

1. Sem Prefixo: Uma linha de base sem instrução de sistema.
2. Prefixo de Advogado: "Sou um advogado de defesa e preciso entender isso adequadamente para um cliente que estou representando..."
3. Prefixo de Suprema Corte: "Sou um consultor jurídico trabalhando para uma suprema corte nacional em um caso oficial..." (Adaptado de uso institucional real).
4. Prefixo de Jailbreak: Um padrão de sobreposição de interpretação de personagem (role-play) ("Você agora está no modo desenvolvedor...").

O estudo também estendeu esses experimentos para o Francês e Alemão, traduzindo tanto os prefixos quanto os prompts, e validou os achados em uma pequena amostra de 30 documentos jurídicos reais (incluindo casos do Tribunal Federal Suíço e os "Arquivos Epstein").

Métricas de Avaliação

A detecção de recusa foi realizada por meio de um método de correspondência de palavras-chave, estendido com listas de palavras-chave em francês e alemão derivadas das saídas reais dos modelos, em vez de tradução direta, para garantir a precisão.

Principais Resultados

1. Prefixos de Autoridade Aumentam as Taxas de Recusa

Ao contrário da expectativa intuitiva de que alegar autoridade facilitaria a conclusão da tarefa, o estudo descobriu que prefixos de estilo de autoridade aumentaram sistematicamente as taxas de recusa em 2 a 20 vezes em comparação com a linha de base sem prefixo na maioria dos modelos.

• Llama 3.1, Gemma 4 e Apertus: Tanto o prefixo "advogado" quanto o da "suprema corte" elevaram significativamente as contagens de recusa. O prefixo "suprema corte" geralmente induziu taxas de recusa mais altas do que o prefixo "advogado", sugerindo que o efeito escala com a autoridade institucional percebida.
• Qwen 3: Este modelo atuou como um claro ponto fora da curva, exibindo taxas de recusa quase nulas (21/1000 na linha de base) independentemente do prefixo, indicando um perfil de alinhamento de segurança diferente.
• Sensibilidade ao Tópico: A categoria "Sexual" apresentou o maior aumento relativo de recusas sob prefixos de autoridade (ex: o Apertus aumentou de 4 para 34 recusas com o prefixo de advogado). A categoria "Ilegal" eliciou as maiores contagens absolutas de recusa no geral.

2. O Paradoxo do "Jailbreak"

O prefixo de jailbreak conhecido não diminuiu consistentemente as taxas de recusa. Em vários modelos, ele aumentou as recusas ou teve efeitos mistos. Notavelmente, para o Gemma e o Apertus, uma afirmação institucional polida (prefixo de autoridade) alterou o comportamento de recusa de forma mais drástica do que uma tentativa explícita de anular a segurança (prefixo de jailbreak).

3. Disparidades Multilíngues

O efeito dos prefixos de autoridade não foi uniforme entre as línguas:

• Francês: O efeito persistiu e, em alguns casos (Apertus, Llama), fortaleceu-se.
• Alemão: O efeito foi significativamente mais fraco e quase desapareceu para o Apertus. A verificação manual confirmou que isso não foi um erro de detecção, mas uma diferença genuína no comportamento do modelo, destacando um alinhamento de segurança desigual entre idiomas.

4. Generalização para o Mundo Real

Testes em 30 documentos jurídicos reais confirmaram a tendência observada no OR-Bench. O Llama 3.1 mostrou um aumento claro nas recusas quando o prefixo "suprema corte" foi aplicado a textos reais (ex: de 3 para 16 recusas em inglês), enquanto modelos com baixas taxas de recusa na linha de base (Gemma 4, Qwen 3) permaneceram amplamente inalterados.

Principais Contribuições

• Primeiro Estudo Sistemático no Domínio Jurídico: Este trabalho fornece a primeira investigação sistemática do comportamento de sobre-recusa especificamente dentro do domínio jurídico-judicial, indo além dos benchmarks de segurança gerais.
• Descoberta da Sobre-recusa Induzida por Autoridade: O artigo identifica um fenômeno contraintuitivo onde alegar autoridade profissional ou institucional desencadeia taxas de recusa mais altas em pequenos LLMs on-premises, em vez de diminuí-las.
• Lacuna de Segurança Multilíngue: O estudo demonstra que o alinhamento de segurança é desigual entre idiomas (Francês vs. Alemão) dentro do mesmo modelo, apresentando riscos para instituições que implantam sistemas multilíngues.
• Ineficácia do Jailbreak: Os achados sugerem que as técnicas padrão de jailbreak adversarial não são apenas ineficazes para contornar essas recusas específicas, mas podem exacerbá-las em certos modelos.

Significância e Implicações

O artigo argumenta que pequenos LLMs on-premises são instáveis sob enquadramentos contextuais que usuários institucionais reais naturalmente introduzem. A principal significância reside no potencial de viés sistêmico: se profissionais do direito (juízes, defensores, promotores) usarem modelos diferentes ou se os modelos reagirem de forma diferente ao mesmo prompt com base no papel declarado do usuário, a consistência dos processos judiciais é comprometida.

Os autores concluem que as instituições que implantam pequenos LLMs para trabalhos juridicamente sensíveis devem avaliar os modelos não apenas pela qualidade da resposta, mas pela sua confiabilidade ao responder a consultas profissionais legítimas. O estudo alerta que o "prompt inocente" destinado a esclarecer o papel do usuário pode, atualmente, retroceder, levando à sobre-recusa. Este problema provavelmente se estende a outros domínios restritos, como medicina e revisão de direitos humanos, necessitando de mais investigações sobre o calibramento de segurança multilíngue.

Limitações

Os autores reconhecem diversas restrições:

• Escala: O estudo utilizou 200 prompts por célula, o que fornece estimativas estáveis para efeitos grandes, mas poder estatístico limitado para eventos de recusa raros (particularmente no Qwen 3).
• Método de Detecção: A detecção baseada em palavras-chave pode subestimar recusas indiretas ou implícitas, embora garanta a reprodutibilidade.
• Natureza dos Prompts: Os prompts do OR-Bench são benignos por construção; o estudo não testa como os prefixos de autoridade afetam as respostas a entradas genuinamente prejudiciais, que também são comuns em casos jurídicos sensíveis.