Resumo Técnico: Prompting a partir da bancada: O pré-treinamento em grande escala não é suficiente para preparar os LLMs para a análise do significado ordinário

Declaração do Problema

O artigo aborda a tendência crescente na prática judicial dos EUA, na qual juízes e estudiosos do direito utilizam Modelos de Linguagem de Grande Escala (LLMs) para determinar o "significado ordinário" de textos jurídicos — uma metodologia interpretativa padrão que questiona como um termo seria compreendido por um falante comum de inglês. Defensores, incluindo o Juiz Federal Kevin Newsom, argumentam que a escala massiva dos dados de pré-treinamento permite que os LLMs sintetizem padrões estatísticos do uso da linguagem ordinária de forma mais eficaz do que ferramentas tradicionais, como dicionários ou pesquisas em pequena escala.

Os autores desafiam a premissa de que o pré-treinamento em grande escala e o ajuste de instruções são suficientes para produzir modelos capazes de realizar análises confiáveis de significado ordinário. Eles postulam que, sem uma avaliação rigorosa, confiar em LLMs para interpretação jurídica de alto risco é prematuro. O problema central é duplo:

1. Robustez: Se os julgamentos dos LLMs são estáveis diante de variações mínimas na formulação do prompt (uma vulnerabilidade conhecida em PLN).
2. Correlação: Se os julgamentos dos LLMs realmente aproximam o consenso interpretativo de leitores humanos leigos, que é o alvo das investigações sobre "significado ordinário".

Metodologia

Os autores conduziram uma avaliação empírica em grande escala envolvendo 15 LLMs (incluindo variantes base e ajustadas por instruções de Llama-3, OLMo-2, Mistral, Gemma e GPT-2, além do GPT-4 de código fechado) em 138 cenários de interpretação jurídica.

Formulação de Dados e Tarefa:

• Cenários: O estudo utilizou 138 itens derivados de disputas reais de contratos de seguro (originalmente de Waldon et al., 2023). Cada item apresenta um cenário hipotético e um termo específico de seguro (por exemplo, "paisagismo", "fonte interna") exigindo um julgamento binário: a perda está coberta ("Sim") ou não ("Não")?
• Linha de Base Humana: O estudo comparou as saídas dos modelos com julgamentos humanos de 1.338 falantes nativos de inglês que avaliaram os mesmos 138 cenários.
• Variantes de Prompt: Para testar a robustez, os autores aplicaram 9 variantes sistemáticas de perguntas a cada item. Estas incluíram:
  • Ordenação padrão Sim/Não e Não/Sim.
  • Negação (por exemplo, "John não está coberto?").
  • Enquadramento de Concordância/Desacordo (por exemplo, "Você concorda que...").
  • Opções de múltipla escolha (A/B) com ordens invertidas.
• Medição:
  • Robustez: Medida pela consistência dos julgamentos categóricos (Coberto vs. NãoCoberto) entre as 9 variantes de prompt para cada par modelo-item.
  • Correlação Humana: Medida usando o coeficiente de determinação ($R^2$) entre a diferença de probabilidade do modelo ($\Delta = p(\text{Coberto}) - p(\text{NãoCoberto})$) e a proporção de julgamentos humanos de "Coberto". Os autores trataram a probabilidade do token do modelo como um proxy para o consenso da população.

Principais Contribuições

1. Avaliação Sistemática da Interpretação Jurídica: Este trabalho fornece a avaliação experimental mais extensa de LLMs para interpretação jurídica até a data, avançando além de estudos de caso qualitativos ou testes de parafraseamento em pequena escala (por exemplo, Choi, 2025; Waldon et al., 2025) para um conjunto de dados controlado e em grande escala.
2. Quantificação da Sensibilidade ao Prompt: Os autores demonstram que os LLMs exibem uma "falta de consistência ubíqua" entre as variantes de perguntas. Eles mostram que mudanças triviais, como negação ou ordenação de opções, podem causar mudanças drásticas nos julgamentos do modelo, permitindo efetivamente a "compra de prompts" para resultados desejados.
3. Análise da Correlação Humana: O estudo testa rigorosamente a hipótese da "onisciência" (de que a escala dos dados de treinamento equivale a uma intuição semelhante à humana). Ele descobre que, mesmo os modelos de melhor desempenho, mostram apenas correlação moderada com o consenso humano, e essa correlação é altamente dependente de tamanhos específicos de modelo e formulações de prompt.
4. Crítica à Prática Judicial Atual: O artigo oferece um contra-argumento empírico a opiniões judiciais recentes que dependem de consultas diretas a LLMs para significado ordinário, sugerindo que os modelos atuais não atendem às condições necessárias de robustez e alinhamento humano para tal uso.

Principais Resultados

• Instabilidade e Viés:
  • Relógios Parados: Vários modelos (6 de 15) forneceram o mesmo julgamento categórico para mais de 92% dos cenários, independentemente do conteúdo, comportando-se como "relógios parados".
  • Sensibilidade ao Prompt: Em 2.061 de 2.070 combinações de modelo-item, o modelo produziu julgamentos conflitantes entre as 9 variantes de prompt. Apenas 9 combinações mostraram unanimidade total.
  • Negação e Complexidade: Variantes envolvendo negação (por exemplo, "Desacordo com Negação") frequentemente induziram julgamentos minoritários e causaram os maiores deslocamentos distribucionais (medidos pela distância Jensen-Shannon).
• Correlação com Julgamento Humano:
  • Correlação Moderada: Apenas modelos maiores, ajustados por instruções (especificamente com 70B+ parâmetros), mostraram qualquer correlação significativa com julgamentos humanos, e mesmo assim, apenas para variantes específicas de prompt.
  • Melhor Cenário: O GPT-4 alcançou a maior correlação ($R^2 = 0,60$) com julgamentos humanos na variante padrão Sim/Não. No entanto, isso se traduziu em uma precisão de classificador oráculo de apenas 83% (1 em 6 de taxa de erro), o que os autores argumentam ser insuficiente para interpretação jurídica onde os riscos são altos.
  • Inconsistência: Para muitos modelos, a correlação foi negativa ou próxima de zero. Alguns modelos mostraram forte correlação em distribuições de probabilidade, mas produziram saídas categóricas overwhelmingmente enviesadas (por exemplo, sempre prevendo "NãoCoberto", apesar de gradientes de probabilidade sugerirem o contrário).
• Tamanho do Modelo e Ajuste: Embora modelos maiores geralmente tenham desempenho melhor, o ajuste de instruções introduziu vieses imprevisíveis, às vezes deslocando julgamentos inteiramente (por exemplo, modelos ajustados Llama-8B previram predominantemente "NãoCoberto", enquanto modelos ajustados Llama-70B previram "Coberto").

Significado e Alegações

O artigo conclui que o pré-treinamento em grande escala não é suficiente para preparar LLMs para análise de significado ordinário. Os autores argumentam que a premissa de que os LLMs podem iluminar de forma confiável como as pessoas comuns usam palavras não é apoiada por evidências empíricas.

• Lacuna de Confiabilidade: As descobertas destacam uma "lacuna de confiabilidade", onde os modelos não são consistentes ou reproduzíveis, e uma "lacuna epistêmica", onde as saídas do modelo não medem com precisão o significado humano ordinário.
• Cautela Judicial: Os autores alertam explicitamente contra a abordagem adotada pelo Juiz Newsom e outros que consultam diretamente LLMs para resolver questões de significado ordinário. Eles afirmam que a fragilidade observada (sensibilidade à formulação do prompt) e a fraca correlação com o consenso humano tornam os LLMs atuais inadequados como ferramentas autoritativas para esta tarefa jurídica específica.
• Trabalho Futuro: O artigo não afirma que os LLMs nunca poderão ser usados para interpretação jurídica, mas sugere que, se forem usados, exigirão validação rigorosa além das capacidades atuais. Eles observam que novos modelos de "raciocínio" ou sistemas com mecanismos de recuperação não foram testados e poderiam mitigar algumas limitações, mas tais alegações exigem demonstração empírica adicional. A evidência atual, afirmam eles, "falha espetacularmente em atender ao ônus da prova" para o uso de LLMs como intérpretes autoritativos do significado ordinário.