When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
Este artigo introduz um benchmark para a determinação da lei aplicável temporal e revela que os grandes modelos de linguagem exibem um forte viés em direção à aplicação da lei mais recente devido à convergência de raciocínio induzida pelo aprendizado por reforço, levando a uma relação inversa contraintuitiva onde modelos com capacidades de raciocínio geral mais fortes apresentam desempenho inferior em tarefas jurídicas temporalmente fundamentadas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A lei não é um monumento estático; é uma paisagem viva que muda com o tempo. Novas regras são escritas, outras antigas são reescritas, e a versão específica de uma lei que se aplica a uma situação depende inteiramente de quando essa situação ocorreu. Um contrato assinado hoje pode ser regido por um conjunto de regras, enquanto um contrato semelhante assinado cinco anos atrás recai sob um conjunto diferente. Este princípio, conhecido como não retroatividade, é um pilar da justiça legal: as pessoas devem ser julgadas pelas leis que existiam quando agiram, não por leis criadas posteriormente. Para que a inteligência artificial seja útil no mundo jurídico, ela deve compreender este cronograma. Ela não pode simplesmente saber o que a lei diz; ela deve saber qual versão da lei estava em vigor no exato momento em que um evento jurídico ocorreu. Se um sistema de computador errar o tempo, ele aplicará as regras erradas, levando a conclusões fundamentalmente incorretas, independentemente de quão inteligente seja sua análise dos fatos.
Pesquisadores há muito esperam que os grandes modelos de linguagem, os poderosos sistemas de IA capazes de responder a perguntas complexas e escrever textos, possam automatizar partes deste raciocínio jurídico. Esses modelos têm mostrado potencial em prever resultados judiciais e analisar contratos. No entanto, uma questão crítica permanecia sem resposta: podem esses modelos identificar de forma confiável qual versão de uma lei se aplica a um caso específico? Um novo estudo realizado por uma equipe de pesquisadores de instituições do Japão e da China investiga precisamente este problema. Eles construíram um teste especializado para ver se esses sistemas avançados de IA poderiam identificar corretamente a versão certa de uma lei com base nas datas dos eventos de um caso. Os resultados revelaram uma falha surpreendente e sistemática. Os modelos mais avançados, apesar de sua capacidade de raciocinar através de problemas complexos, falharam consistentemente quando a resposta correta era uma versão mais antiga da lei. Em vez disso, eles escolheram esmagadoramente a versão mais nova, a mais recentemente promulgada, mesmo quando os fatos do caso apontavam claramente para o passado.
Para entender a profundidade desta questão, os pesquisadores construíram um parâmetro utilizando milhares de julgamentos reais de tribunais civis da China. Eles selecionaram casos onde os eventos relevantes ocorreram antes de uma grande atualização jurídica, especificamente antes da implementação do Código Civil em 2021. Nesses casos, a resposta jurídica correta exigia citar as leis isoladas mais antigas que estavam em vigor na época, como a antiga Lei de Propriedade ou a Lei de Contratos. A equipe então pediu a vários modelos de IA de última geração que identificassem a versão correta da lei para cada caso. Os resultados foram drasticamente desiguais. Quando o caso envolvia a lei atual, os modelos tiveram um bom desempenho, muitas vezes acertando a resposta mais de 70 por cento das vezes. Mas quando o caso exigia a aplicação de uma lei mais antiga, seu desempenho colapsava. Nestes casos antigos, a maioria dos modelos pontuou abaixo de 15 por cento, com alguns caindo para perto de zero. Os modelos não estavam adivinhando aleatoriamente; eles estavam cometendo consistentemente o mesmo erro específico. Eles identificavam o tipo correto de lei, mas aplicavam a versão errada, sempre buscando a mais recente.
Os pesquisadores então se propuseram a diagnosticar por que isso estava acontecendo. Primeiro, consideraram se os modelos simplesmente careciam do conhecimento necessário. Talvez a IA nunca tivesse "lido" as leis antigas ou não entendesse as regras sobre como as leis mudam ao longo do tempo. Para testar isso, pediram aos modelos que recitassem o texto das leis antigas e respondessem a perguntas de múltipla escolha sobre as regras de temporalidade jurídica. Os modelos tiveram um desempenho excepcional nesses testes, provando que possuíam os fatos e as regras. Eles sabiam que as leis antigas existiam e entendiam os princípios da não retroatividade. A falha não era uma falta de memória ou uma lacuna de conhecimento. O problema residia em como os modelos usavam esse conhecimento ao serem confrontados com um caso real.
Investigações posteriores revelaram que a questão estava ligada à maneira como esses modelos são treinados para raciocinar. Os sistemas de IA modernos são frequentemente ajustados usando um processo que os incentiva a pensar através de problemas passo a passo, produzindo uma cadeia de raciocínio antes de dar uma resposta. Este treinamento é projetado para tornar os modelos melhores na resolução de enigmas lógicos e problemas matemáticos difíceis. No entanto, os pesquisadores descobriram que esta própria força se tornou uma fraqueza no contexto jurídico. Os modelos com as capacidades de raciocínio geral mais fortes eram, na verdade, os que pior se saíam na tarefa de temporalidade. O processo de treinamento parecia ter estreitado o pensamento dos modelos, fazendo-os convergir para um único caminho dominante: aplicar a lei atual. Era como se os modelos tivessem aprendido que a informação mais recente é a mais importante, e tornaram-se tão focados neste padrão que pararam de explorar outras possibilidades, mesmo quando os fatos do caso assim o exigiam.
O estudo sugere que os modelos não estavam falhando porque eram "burros" demais para entender o cronograma, mas porque eram eficientes demais em seguir um hábito aprendido. Quando os pesquisadores forneceram aos modelos uma dica simples lembrando-os de considerar a data do evento e as regras específicas de temporalidade jurídica, o desempenho melhorou dramaticamente. Isso indicou que os modelos tinham a capacidade de acertar, mas seu modo padrão de operação estava desalinhado com os requisitos específicos do raciocínio jurídico. Sem um empurrão para olhar para o cronograma, seus poderosos motores de raciocínio simplesmente reforçavam o viés em direção à lei mais nova.
Esta descoberta destaca uma limitação sutil, mas perigosa, da inteligência artificial atual. Mostra que tornar um modelo mais inteligente no raciocínio geral não o torna automaticamente melhor em todas as tarefas. De fato, para tarefas que exigem atenção cuidadosa a restrições específicas, como o tempo de uma lei, os próprios mecanismos que tornam esses modelos poderosos podem fazer com que ignorem detalhes cruciais. Os pesquisadores descobriram que, quando os modelos eram forçados a explorar diferentes caminhos de raciocínio em vez de aderir ao seu hábito padrão, conseguiam identificar com sucesso a versão mais antiga e correta da lei. O estudo conclui que, para a IA ser verdadeiramente confiável no campo jurídico, ela deve ser treinada não apenas para raciocinar bem, mas para respeitar as regras específicas, muitas vezes contraintuitivas, do domínio, como o fato de que a lei mais nova nem sempre é a correta.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.