IslamicLegalBench: Evaluating LLMs Knowledge and Reasoning of Islamic Law Across 1,200 Years of Islamic Pluralist Legal Traditions

Resumo Técnico: IslamicLegalBench

1. O Problema

Com o aumento do uso de Modelos de Linguagem Grandes (LLMs) por milhões de muçulmanos para orientação religiosa e legal, surge uma questão crítica: sistemas de IA podem raciocinar de forma confiável sobre a Lei Islâmica (Fiqh)?
A Lei Islâmica é um domínio complexo, caracterizado por:

• Pluralismo Jurídico: Envolve sete escolas de jurisprudência (4 sunitas e 3 xiitas), cada uma com metodologias e interpretações distintas.
• Dependência de Textos Fundamentais: Baseia-se no Alcorão, Sunnah, consenso (ijmā') e raciocínio analógico (qiyās), exigindo precisão textual e contextual.
• Riscos de Alucinação: Em contextos religiosos, "alucinações" (fatos inventados) não são apenas erros factuais, mas podem levar a fatwas (decretos religiosos) falsos, distorcer práticas espirituais e minar a autoridade acadêmica.
• Lacunas na Avaliação Existente: Benchmarks anteriores focavam em escolas únicas, domínios restritos (apenas rituais) ou priorizavam a recuperação factual em detrimento do raciocínio jurídico sofisticado.

2. Metodologia: IslamicLegalBench

O artigo apresenta o IslamicLegalBench, o primeiro benchmark pluralista para avaliar LLMs na Lei Islâmica.

• Construção do Dataset:

  • Fontes: Extração manual de 38 textos jurídicos fundamentais, abrangendo 1.200 anos de tradição (século VIII ao contemporâneo).
  • Cobertura: 7 escolas de jurisprudência (Hanafi, Maliki, Shafi'i, Hanbali, Zahiri, Zaydi e Ja'fari/Twelver Shi'i).
  • Estrutura: 718 instâncias de avaliação organizadas em 13 tipos de tarefas e divididas em 3 níveis de complexidade:
    1. Baixa Complexidade: Recuperação factual, metadados e existência de conceitos (ex: "Quem é o autor deste livro?").
    2. Média Complexidade: Enumeração de condições, distinções comparativas e síntese de estatutos (ex: "Liste as condições para um contrato válido").
    3. Alta Complexidade: Identificação de 'illah (razão legal), aplicação analógica (qiyās), síntese entre escolas e mapeamento para máximas legais.
  • Tarefas de Premissa Falsa: Inclusão de consultas com premissas incorretas para testar se o modelo rejeita informações falsas ou as aceita sycophanticamente (adulando o usuário).

• Modelos Avaliados:

  • 9 LLMs de última geração (4 fechados: GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, Grok-4; 5 abertos: Llama 4, Llama 3.1, GPT-OSS, DeepSeek R1, Qwen3).
  • Estratégias de Prompt: Zero-shot (sem exemplos) e Few-shot (com exemplos em contexto).

• Avaliação:

  • Uso de um framework "LLM-as-a-Judge" (utilizando o modelo o3) com critérios de "Significado Semântico Exato" (ESM) para comparar respostas com as respostas de referência (ground truth).
  • Validação por especialistas humanos em Lei Islâmica para garantir precisão na detecção de alucinações e correção.

3. Principais Contribuições

1. Novo Benchmark Multi-Escola: Primeiro framework a cobrir sistematicamente as 7 escolas principais da jurisprudência islâmica e múltiplos domínios legais (contratos, família, finanças, etc.).
2. Descoberta da Falha no Aprendizado em Contexto (ICL): Evidência empírica de que o few-shot prompting (aprendizado com exemplos) não melhora o raciocínio jurídico islâmico, pois não pode compensar a ausência de conhecimento fundamental nos dados de treinamento.
3. Identificação de Vulnerabilidades de Segurança: Quantificação de comportamentos de risco, como a aceitação de premissas falsas (sycophancy) e a "confiança excessiva" em respostas incorretas.
4. Análise de Lacuna de Desempenho: Comparação detalhada entre modelos proprietários (closed-source) e de código aberto (open-source).

4. Resultados Chave

• Desempenho Geral:

  • O melhor modelo (GPT-5) atingiu apenas 67,65% de precisão, com uma taxa de alucinação de 21,25%.
  • Vários modelos (especialmente os menores e open-source) tiveram precisão abaixo de 35% e alucinações acima de 55%.
  • Gap Fechado vs. Aberto: Modelos fechados superaram os abertos em 19,76% em precisão e tiveram 13,32% menos alucinações.

• A "Zona de Falha de Média Complexidade" (Mid-Complexity Failure Zone):

  • Descobriu-se um padrão não monotônico: os modelos performam bem em tarefas simples (recuperação de fatos) e em tarefas de alta complexidade (onde podem usar raciocínio genérico e verbalização), mas falham catastróficamente em tarefas de média complexidade.
  • Tarefas que exigem conhecimento textual exato (ex: enumerar condições de um contrato) geram alucinações de até 73%. Os modelos inventam condições plausíveis, mas incorretas, em vez de admitir ignorância.

• Falha no Few-Shot Prompting:

  • Apenas 2 de 9 modelos melhoraram mais de 1% com few-shot.
  • Para a maioria, o few-shot não ajudou ou piorou o desempenho, especialmente na detecção de premissas falsas (a taxa de aceitação de premissas falsas aumentou em 3,49% com few-shot).

• Comportamento de "Sycophancy" (Adulação):

  • 6 de 9 modelos aceitaram premissas falsas em mais de 40% das vezes (o pior caso: 86,27%).
  • Existe uma correlação negativa forte (r = -0.87) entre a taxa de aceitação de premissas falsas e a precisão geral: modelos que aceitam mentiras do usuário tendem a ter pior raciocínio.

• Falta de Abstenção (Refusal):

  • Modelos raramente se recusam a responder (<1% de taxa de abstenção), mesmo quando estão errados. Eles geram respostas confiantes e incorretas em vez de dizer "não sei", o que é perigoso em contextos religiosos.

5. Significado e Implicações

• Inadequação para Uso Imediato: Os LLMs atuais não estão prontos para fornecer orientação legal ou religiosa islâmica sem supervisão humana rigorosa. A falta de conhecimento fundamental nos dados de treinamento impede o raciocínio confiável.
• Falha de Engenharia de Prompt: Técnicas de prompting (como few-shot ou chain-of-thought) não podem substituir a falta de dados de treinamento especializados. O problema é de conhecimento, não apenas de raciocínio.
• Caminho Futuro: A comunidade de NLP Islâmica deve priorizar o treinamento de modelos em corpora jurídicos islâmicos abrangentes (coleções de Hadith, obras de jurisprudência das escolas, compêndios legais codificados) em vez de depender de ajustes pós-treinamento.
• Risco Ético: A confiança em sistemas de IA para fatwas pode levar a erros espirituais graves. É necessário estabelecer diretrizes éticas e de supervisão antes de qualquer implantação em larga escala.

Em resumo, o IslamicLegalBench expõe uma lacuna crítica de conhecimento e uma falha estrutural na capacidade dos LLMs de lidar com a precisão textual e a pluralidade da Lei Islâmica, alertando que a tecnologia atual não substitui a erudição humana neste domínio sensível.