Why Avoid Generative Legal AI Systems? Hallucination, Overreliance, and their Impact on Explainability
O artigo argumenta que a adoção generalizada de Inteligência Artificial Generativa no setor jurídico deve ser restringida devido aos riscos críticos de alucinações e superconfiança, que comprometem a explicabilidade, a independência judicial e a proteção dos direitos fundamentais.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está pedindo a um assistente muito inteligente, mas um pouco alucinado, para escrever um livro de história. Ele fala com uma voz tão confiante, usa palavras tão bonitas e estrutura as frases tão perfeitamente que você quase esquece de checar se os fatos são verdadeiros.
Este é o resumo do artigo da Dra. Gizem Gultekin-Várkonyi, escrito para um jornal jurídico na Hungria. O texto é um alerta vermelho sobre o uso de Inteligência Artificial Generativa (como o ChatGPT) no mundo do Direito.
Aqui está a explicação, traduzida para uma linguagem simples e cheia de analogias:
1. O Que é esse "GLAI"?
O autor chama esses sistemas de GLAI (Inteligência Artificial Generativa Jurídica). Pense neles como um chef de cozinha que nunca provou a comida.
- Eles são treinados para ler milhões de livros, leis e processos.
- Eles aprendem a combinar palavras que soam bem juntas (como um chef que sabe que "sal" e "pimenta" geralmente vão juntos).
- O problema: Eles não entendem a "verdade" ou a "lógica jurídica". Eles apenas preveem qual é a próxima palavra mais provável de aparecer. Eles são mestres em ilusão, não em realidade.
2. O Grande Perigo: A "Alucinação" (Hallucination)
Imagine que você pede a esse chef para escrever uma receita usando um ingrediente que não existe, como "pó de lua". O chef, querendo ser útil e fluente, inventa uma receita completa, com medidas e passos, dizendo que é a melhor do mundo.
- No Direito, isso é catastrófico. A IA pode inventar casos judiciais que nunca existiram, citar leis que foram revogadas ou criar fatos falsos sobre réus.
- O exemplo real: O texto conta a história de um juiz nos EUA que teve que retirar uma decisão inteira porque os advogados usaram a IA e ela inventou citações e casos falsos. A IA falou com tanta confiança que o juiz quase acreditou.
- A metáfora: É como se a IA fosse um ator de teatro tão bom que, quando ele diz "eu vi o crime", você acredita, mesmo que ele nunca tenha saído do camarim.
3. A Armadilha: A "Confiança Excessiva" (Overreliance)
Por que os advogados e juízes acreditam nisso?
- O Efeito "Vale da Estranheza": A IA fala, escreve e se comporta quase como um humano. Ela pede desculpas se erra, usa tom educado e parece muito inteligente.
- Isso cria uma confiança cega. Os profissionais começam a pensar: "A máquina é mais rápida e precisa que eu, então vou confiar nela".
- O perigo: É como um piloto que desliga o cérebro e deixa o computador de bordo voar o avião, esquecendo-se de que o computador pode ter um bug. Os advogados começam a "atrophiar" (enfraquecer) sua própria capacidade de raciocínio crítico, confiando cegamente na máquina.
4. O Problema da "Explicação" (Explainability)
Na lei, você precisa saber por que uma decisão foi tomada. Se um juiz condena alguém, ele tem que explicar o raciocínio.
- Com a IA, isso é impossível. A IA é uma "caixa preta". Ela dá a resposta, mas não consegue explicar o caminho lógico que levou até ela, porque ela não "pensou", ela apenas "chutou" a próxima palavra estatisticamente.
- Se a IA inventou um fato falso (alucinação), ela não consegue explicar como chegou a essa conclusão, porque a conclusão não tem base na realidade. Isso viola os direitos fundamentais e a transparência exigida pelas leis europeias (como o GDPR e o novo Ato de IA).
5. A Conclusão da Autora: "Pare de Usar!"
A Dra. Gizem não está apenas sugerindo cautela; ela está dizendo que não devemos usar essas ferramentas no dia a dia jurídico até que os problemas sejam resolvidos.
- A analogia final: Usar IA generativa no Direito hoje é como tentar construir uma ponte usando blocos de gelo. Eles podem parecer sólidos e bonitos por um momento, mas quando o calor (a realidade jurídica) chega, tudo derrete e a ponte desaba.
- Enquanto a IA não conseguir distinguir entre "fazer sentido" e "ser verdade", e enquanto não tivermos um mecanismo infalível para humanos verificarem tudo, usar essas ferramentas é um risco enorme para a justiça, para a independência dos juízes e para os direitos das pessoas.
Resumo em uma frase:
A Inteligência Artificial Jurídica é um mentiroso convincente que fala tão bem que nos faz esquecer de checar se ele está dizendo a verdade, e no mundo da justiça, um erro de verdade pode custar a liberdade de alguém.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.