Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks
Este artigo revela que benchmarks jurídicos de múltipla escolha, como o UA-JudgeExam, são frequentemente resolvíveis por modelos utilizando apenas as opções de resposta sem ler as perguntas, devido a vieses exploráveis de posição de opção e padrões de distratores, necessitando de um controle rigoroso e de mitigação de vieses para avaliar com precisão as verdadeiras capacidades de raciocínio jurídico.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, pesquisadores frequentemente testam o quão inteligente um computador é fazendo perguntas de múltipla escolha, de forma muito semelhante a um estudante fazendo um exame padronizado. A maneira padrão de corrigir esses testes é simples: se o computador escolher a resposta certa, ele ganha um ponto. Mas existe uma falha oculta nesse método. Um computador não precisa sempre entender a pergunta para acertar a resposta. Às vezes, a lista de respostas possíveis contém pistas suficientes por si só para revelar a escolha correta, mesmo que a pergunta esteja completamente oculta. Isso acontece quando as respostas erradas são mal escritas ou quando a resposta certa é a única que parece uma frase real e completa. Se uma máquina consegue adivinhar a letra certa apenas olhando para as opções, o teste não está medindo inteligência; está medindo o quão bem a máquina consegue identificar um padrão nas escolhas. Este é um problema sério para qualquer pessoa que tente avaliar a IA jurídica, porque se o teste for falho, os resultados serão enganosos.
Um pesquisador partiu para investigar este problema usando um vasto banco de questões jurídicas reais da Ucrânia. Estas perguntas foram escritas para juízes realizando um exame de qualificação de alto nível e vêm acompanhadas de respostas oficiais e verificadas. O pesquisador queria ver se os modelos modernos de IA poderiam resolver estas questões sem sequer ver a pergunta em si. Eles pegaram milhares desses itens e mostraram à IA apenas as quatro respostas possíveis, escondendo a pergunta inteiramente. Eles descobriram que a IA ainda conseguia adivinhar a resposta correta com muito mais frequência do que o acaso permitiria. Na verdade, um modelo acertou a resposta quase 38% das vezes apenas olhando para as opções, uma pontuação que está muito acima dos 25% esperados de um palpite cego. Isso aconteceu porque as respostas corretas eram frequentemente afirmações de lei autocontidas, enquanto as respostas erradas continham erros sutis ou soavam antinaturais. A IA aprendeu a reconhecer a lei "com som de correta" sem precisar saber o que a pergunta estava perguntando.
O pesquisador então tentou uma correção comum: eles filtraram as perguntas que a IA conseguia responder cegamente e mantiveram apenas aquelas onde a IA falhou. Eles esperavam que isso deixasse um conjunto limpo de perguntas que realmente testassem o raciocínio. No entanto, o experimento revelou uma verdade surpreendente: esta correção não funciona. Eles construíram seu filtro usando um modelo de IA específico, mas quando testaram um modelo diferente, mais poderoso, nas perguntas restantes, esse novo modelo ainda conseguia adivinhar as respostas cegamente com alta precisção. O filtro havia apenas removido as perguntas que eram fáceis de serem exploradas pelo primeiro modelo; não removeu as perguntas que eram fáceis de serem exploradas por um modelo mais inteligente. O estudo mostrou que, conforme os modelos de IA melhoram, eles ficam melhores em detectar essas pistas ocultas nas opções de resposta, o que significa que um teste limpo para um modelo é instantaneamente inútil para um modelo melhor.
O pesquisador também descobriu que o problema não era sobre o assunto do direito em si, mas sobre como as perguntas foram escritas. Eles compararam as questões do exame ucraniano com um teste jurídico diferente chamado LEXam, que utiliza um formato diferente. No teste LEXam, as opções não são frases completas, mas ponteiros curtos como "afirmação um e três", que se referem de volta a uma lista na pergunta. Como essas opções não possuem significado por si só, a IA não consegue adivinhar a resposta sem ler a pergunta. Quando o pesquisador testou seus modelos de IA neste formato diferente, os modelos não conseguiam mais adivinhar as respostas cegamente; eles pontuaram exatamente no nível do acaso. Isso provou que a falha não estava na capacidade de raciocínio da IA, mas no design das perguntas do teste. Quando as opções são afirmações completas e autocontidas, o teste é vulnerável à exploração. Quando as opções são apenas ponteiros, o teste é seguro.
O estudo conclui que simplesmente filtrar perguntas ruins não é uma solução, porque a definição de uma pergunta "ruim" muda dependendo de quão inteligente é a IA. Para obter uma medida real da capacidade de uma IA, os pesquisadores devem reportar dois números: o quão bem o modelo se sai com a pergunta completa e o quão bem ele se sai com a pergunta oculta. Eles também devem levar em conta o hábito do modelo de escolher certas letras, como sempre escolher "A", o que pode inflar artificialmente as pontuações. O artigo sugere que, para exames jurídicos e testes profissionais semelhantes, o formato das opções de resposta é o fator mais crítico. Se as respostas forem escritas como proposições completas, o teste provavelmente será comprometido por uma IA que consegue ler as opções isoladamente. Se as respostas forem desenhadas para serem ponteiros, o teste permanece uma medida válida de raciocínio. O pesquisador liberou todo o seu conjunto de dados e os resultados de seus testes para que outros possam ver exatamente quais perguntas vazaram informações e quais não vazaram, fornecendo um caminho claro para construir avaliações melhores e mais honestas da inteligência artificial.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.