Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis

Um estudo randomizado com estudantes de direito demonstra que um treinamento breve e direcionado sobre o uso de IA generativa não apenas aumenta sua adoção, mas também melhora significativamente o desempenho acadêmico, ao contrário do simples acesso à ferramenta sem instrução.

O essencial

Imagine que você tem uma ferramenta mágica muito poderosa, como um super assistente de cozinha que pode escrever receitas, sugerir combinações de ingredientes e até cozinhar pratos inteiros. Essa é a Inteligência Artificial Generativa (IA).

Agora, imagine que você é um chef de cozinha (neste caso, um estudante de direito) e precisa preparar um prato complexo para um concurso. O grande dilema é: se você apenas colocar essa ferramenta na sua frente e disser "use se quiser", o que acontece?

Este estudo, feito por pesquisadores da Universidade de Hong Kong, decidiu testar exatamente isso, mas em vez de cozinhar, eles usaram estudantes de direito e um exame difícil.

Aqui está a história do que eles descobriram, explicada de forma simples:

1. O Cenário: Três Cozinhas Diferentes

Os pesquisadores dividiram 164 estudantes em três grupos para fazerem um exame de contrato:

• Grupo 1 (A Cozinha Tradicional): Eles só podiam usar livros e dicionários (bancos de dados jurídicos tradicionais). Nada de IA.
• Grupo 2 (A Cozinha com a Ferramenta Mágica): Eles tinham a IA à disposição, mas ninguém lhes ensinou como usá-la. Era como dar um fogão de última geração para alguém que nunca viu um e dizer: "Agora, tente fazer um bolo".
• Grupo 3 (A Cozinha com a Ferramenta e o Manual): Eles tinham a mesma IA, mas antes de começar, assistiram a um vídeo de 10 minutos e fizeram um pequeno teste. O vídeo ensinava truques: "Não peça a resposta pronta; peça ideias", "Verifique se o que a IA diz é verdade", "Use a IA para brainstorm, não para copiar".

2. O Que Aconteceu? (Os Resultados)

O Grupo 2 (IA sem treino) foi o "vilão" da história:

• Ninguém usou muito: Apenas 26% dos estudantes tentaram usar a IA.
• O resultado foi pior: Aqueles que usaram a IA sem treino escreveram respostas mais curtas e tiveram notas ligeiramente piores do que o grupo que nem tinha a IA.
• A Analogia: Foi como dar um carro de Fórmula 1 para um motorista que não sabe dirigir. Em vez de ir mais rápido, ele bateu no muro ou ficou parado no trânsito. A IA, sem orientação, confundiu os estudantes ou os fez confiar demais em informações erradas (alucinações).

O Grupo 3 (IA com treino) foi o "herói":

• Muitos usaram: O número de pessoas usando a IA subiu para 41%. O treino tirou o medo de usar a ferramenta.
• O resultado foi melhor: Aqueles que receberam o treino e usaram a IA tiraram notas mais altas (cerca de um terço de uma letra a mais na nota final) do que os que tinham a IA mas não tiveram o treino.
• A Analogia: Foi como dar o mesmo carro de Fórmula 1, mas antes, um instrutor ensinou como trocar a marcha e onde pisar no freio. De repente, o carro voou.

3. O Segredo: Por que o treino funcionou?

O estudo descobriu que o treino funcionou de duas maneiras principais, como se fossem duas portas diferentes:

1. A Porta da Coragem (Adoção): O treino convenceu estudantes que tinham medo de usar a IA (por acharem que era "trapaça" ou que a IA era ruim) a tentarem. Eles perceberam que, se usados corretamente, os robôs são ajudantes, não substitutos.
2. A Porta da Eficiência (Uso): O treino ensinou como conversar com a máquina. Em vez de pedir "escreva a resposta", eles aprenderam a pedir "liste os problemas possíveis" e depois verificar cada um. Isso transformou a IA de um "gerador de mentiras" em um "parceiro de raciocínio".

4. A Lição para o Mundo Real

A conclusão do estudo é uma mensagem importante para empresas, escolas e para nós, trabalhadores:

• Dar a ferramenta não é suficiente: Se você comprar o software de IA mais caro para sua empresa e apenas entregar o login para os funcionários, eles provavelmente não vão usar ou vão usar de forma errada, piorando o trabalho.
• O treino é o combustível: Para a IA funcionar de verdade, você precisa investir tempo ensinando as pessoas a colaborar com ela. É como ensinar um estagiário a usar uma nova máquina: você não joga a máquina nele e espera que ele saiba; você dá um manual e mostra como fazer.

Resumo da Ópera:
A Inteligência Artificial é como um superpoder. Mas, assim como um superpoder, se você não souber como controlá-lo, ele pode te machucar. O estudo mostra que um pequeno treinamento (como um vídeo de 10 minutos) é o que transforma esse superpoder de algo perigoso em algo que realmente nos faz mais inteligentes e produtivos.

Sem treino, a IA é apenas um barulho. Com treino, ela é uma alavanca para o sucesso.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis", apresentado em português:

Título: Treinamento para Tecnologia: Adoção e Uso Produtivo de IA Generativa na Análise Jurídica

Autores: Benjamin M. Chen e Bao Hong (Universidade de Hong Kong)

---

1. O Problema

A Inteligência Artificial Generativa (GenAI), particularmente os Modelos de Linguagem de Grande Escala (LLMs), promete transformar profissões baseadas em conhecimento, como o Direito. No entanto, existe uma lacuna significativa entre o potencial teórico de aumento de produtividade e a adoção real no mercado.

• O Dilema: Profissionais hesitam em usar GenAI em tarefas de alto risco (como análise jurídica) devido a preocupações com a confiabilidade, "alucinações" (fatos ou citações fabricadas) e custos de erro.
• A Questão Central: O treinamento direcionado ao usuário pode desbloquear o potencial produtivo da GenAI, aumentando tanto a taxa de adoção (quem usa) quanto a efetividade (quão bem é usado) em ambientes profissionais complexos?
• Hipótese: A falta de treinamento inibe a adoção por profissionais de alta habilidade (que temem erros) e reduz a qualidade do output quando a ferramenta é usada sem orientação.

2. Metodologia

Os autores conduziram um estudo experimental randomizado (RCT) com 164 estudantes de direito (graduação LL.B. e pós-graduação JD) da Universidade de Hong Kong.

• Tarefa: Os participantes realizaram um exame simulado de "detecção de questões" (issue-spotting) em Direito Contratual. A tarefa exigia identificar e analisar questões jurídicas complexas em um cenário hipotético, sob pressão de tempo (75 minutos).
• Desenho Experimental (3 Grupos):
  1. Grupo de Controle (Sem GenAI): Acesso apenas a bases de dados jurídicas tradicionais (Westlaw).
  2. Grupo de Acesso (Sem Treinamento): Acesso ao LLM (DeepSeek) + Westlaw, mas sem qualquer instrução sobre como usar a ferramenta.
  3. Grupo de Treinamento (Acesso + Intervenção): Acesso ao LLM + Westlaw + uma intervenção de treinamento de ~10 minutos.
     • Conteúdo do Treinamento: Vídeo instrucional e um quiz curto ensinando estratégias de prompting (ex: quebrar tarefas em etapas, fornecer feedback positivo/negativo, verificar fatos) e alertando sobre os riscos de alucinação. Enfatizou-se que o LLM deve ser usado para ideias e direções, não como solução final, e que a verificação humana é obrigatória.
• Variáveis de Desfecho:
  • Adoção: Uso autodeclarado do DeepSeek.
  • Desempenho: Pontuação no exame (baseada em uma rubrica de 4 questões principais) e número de questões jurídicas perdidas.
  • Características do Texto: Legibilidade (Flesch-Kincaid) e comprimento das respostas.
• Análise Causal: Os autores utilizaram Estratificação Principal (Principal Stratification) para decompor o efeito do treinamento em dois canais:
  1. Efeito de Adoção: Impacto de induzir usuários que não usariam a ferramenta a usá-la.
  2. Efeito de Efetividade: Impacto de melhorar a qualidade do uso entre aqueles que já usariam a ferramenta de qualquer maneira.

3. Resultados Principais

A. Taxa de Adoção

• O treinamento aumentou significativamente a adoção da ferramenta.
  • Grupo sem treinamento: 26% de uso.
  • Grupo com treinamento: 41% de uso.
• Diferença estatisticamente significativa (+15 pontos percentuais, p = 0.044).

B. Desempenho no Exame

• Acesso sem treinamento: Não melhorou o desempenho em comparação ao grupo de controle. Na verdade, os participantes do Grupo 2 (sem treino) escreveram respostas mais curtas e tiveram pontuações ligeiramente menores (não significativo estatisticamente), sugerindo que o uso não orientado pode ser contraproducente ou levar a uma dependência ineficiente.
• Acesso com treinamento: Os participantes do Grupo 3 obtiveram pontuações significativamente maiores do que o Grupo 2.
  • Diferença média: +0,27 pontos na escala de notas (equivalente a cerca de 1/3 de uma letra de nota, p = 0.027).
  • O Grupo 3 também superou o Grupo de Controle, embora a diferença não tenha atingido significância estatística convencional (p = 0.064).

C. Decomposição do Efeito (Estratificação Principal)

A análise de limites (bounds) sugeriu que o ganho de produtividade veio principalmente do canal de adoção (expandir o escopo de uso) e não necessariamente da melhoria da efetividade entre os usuários habituais.

• Os estimadores pontuais indicam que o treinamento convenceu profissionais mais capazes (que normalmente evitariam a ferramenta por medo de erro) a adotá-la, e que essa adoção induzida foi produtiva.
• Os intervalos de confiança são amplos, impedindo uma conclusão definitiva sobre se o treinamento também melhorou a performance dos "usuários sempre presentes" (always users), mas a evidência aponta para a expansão da adoção como o motor principal do sucesso.

D. Comportamento e Texto

• Não houve diferença significativa na legibilidade das respostas entre os grupos.
• Contrariando a expectativa de que a IA geraria textos mais longos, o Grupo 2 (sem treino) produziu textos significativamente mais curtos que o controle, possivelmente devido a interações infrutíferas com o modelo.

4. Contribuições Chave

1. Evidência Empírica sobre Treinamento: O estudo fornece uma das primeiras evidências experimentais de que o treinamento direcionado é um fator crítico para a produtividade da GenAI em tarefas de alto julgamento, superando a barreira da desconfiança.
2. Mecanismo de Adoção vs. Efetividade: Diferencia-se de estudos anteriores ao isolar se o treinamento ajuda a convencer os céticos a usar a ferramenta ou a melhorar o uso dos já adeptos. Os resultados sugerem que o primeiro mecanismo (expansão da adoção) é dominante.
3. Risco do "Acesso sem Orientação": Demonstra que fornecer acesso a LLMs sem treinamento pode ser neutro ou até prejudicial (redução de produtividade), devido ao uso ineficiente ou à geração de conteúdo não verificado.
4. Implicações para a Economia do Trabalho: Desafia a visão de que a IA substitui apenas tarefas rotineiras. Mostra que, com o capital humano adequado (treinamento), a IA pode aumentar a produtividade em tarefas não rotineiras e complexas, alterando a dinâmica de habilidades no mercado de trabalho jurídico.

5. Significado e Implicações

• Para a Educação Jurídica: O currículo de direito deve incorporar obrigatoriamente a "alfabetização em IA" e treinamento prático sobre colaboração humano-IA, focando em prompting estratégico e verificação de fatos, e não apenas no uso da ferramenta.
• Para a Prática Jurídica: Escritórios de advocacia não devem apenas investir na compra de licenças de software GenAI. O retorno sobre o investimento (ROI) depende de investimentos complementares em treinamento de funcionários. A adoção sem treinamento pode gerar resistência e baixa produtividade.
• Política de Inovação: A difusão de tecnologias de propósito geral (como a GenAI) não é automática; ela depende de protocolos de treinamento específicos para cada tarefa e domínio. A vantagem competitiva pode pertencer às organizações que conseguirem integrar eficazmente o capital humano (treinamento) com o capital tecnológico.

Conclusão: A produtividade da GenAI no direito não é inerente à tecnologia, mas sim uma função da interação humana. O treinamento atua como um catalisador essencial, transformando a tecnologia de uma ferramenta de risco potencial em um ativo produtivo, principalmente ao encorajar a adoção por profissionais qualificados que, de outra forma, evitariam seu uso.