Training for Technology: Adoption and Productive Use of Generative AI in Legal Analysis

Un estudio aleatorizado con estudiantes de derecho demuestra que una breve capacitación específica aumenta significativamente tanto la adopción como el rendimiento en el uso de la inteligencia artificial generativa para análisis legales, mientras que el acceso sin dicha formación no mejora el desempeño.

Lo esencial

Imagina que el mundo legal es como una cocina de alta cocina. Los abogados son los chefs expertos, y las leyes son recetas complejas. Durante décadas, los chefs han usado cuchillos y hornos (las computadoras tradicionales) para trabajar más rápido. Pero ahora, ha llegado un nuevo ayudante: una Inteligencia Artificial (IA) generativa.

Este nuevo ayudante es increíblemente talentoso: puede escribir recetas, sugerir ingredientes y hasta inventar platos nuevos en segundos. Pero tiene un problema grave: a veces, alucina. Puede inventar ingredientes que no existen o decir que el horno funciona a una temperatura que no es real. Si un chef novato le hace caso ciegamente, el plato sale quemado o, peor aún, el cliente se enferma.

Este estudio de los autores Benjamin Chen y Bao Hong se preguntó: ¿Cómo podemos hacer que los chefs (abogados) usen a este nuevo ayudante sin arruinar el plato?

El Experimento: Tres Grupos de Estudiantes

Los investigadores tomaron a 164 estudiantes de derecho (que son como "chefs en formación") y les dieron un examen difícil: tenían que encontrar los problemas legales en un caso complicado. Los dividieron en tres grupos:

1. El Grupo "Solo Cuchillos" (Sin IA): Estos estudiantes tenían que resolver el problema solos, usando solo sus libros y bases de datos tradicionales.
2. El Grupo "Ayudante Sin Manual" (IA sin entrenamiento): A estos se les permitió usar la IA, pero nadie les dijo cómo. Se les dijo: "Tienes un robot mágico, úsalo si quieres".
3. El Grupo "Ayudante con Manual" (IA + Entrenamiento): A estos se les dio el mismo robot mágico, pero antes del examen, vieron un video de 10 minutos que les enseñó cómo usarlo. Les dijeron: "No le pidas al robot que cocine todo el plato. Pídele ideas, pero tú revisa cada ingrediente. Si el robot inventa un ingrediente, ¡tú lo detectas!".

¿Qué Pasó? (Los Resultados)

Aquí es donde la historia se vuelve interesante:

• El Grupo "Solo Cuchillos" hizo un trabajo decente, como siempre.
• El Grupo "Ayudante Sin Manual" fue el peor de todos. ¿Por qué? Porque al no saber cómo usar al robot, muchos estudiantes se confundieron. Confían demasiado en la IA, escribieron respuestas más cortas y menos detalladas, y obtuvieron notas peores. Básicamente, el robot los distrajo o les dio información falsa que ellos no supieron detectar.
• El Grupo "Ayudante con Manual" fue el ganador. No solo usaron más la IA (el 41% la usó, frente al 26% del grupo sin entrenamiento), sino que obtuvieron mejores notas. Sus respuestas fueron mejores, como si hubieran ganado un tercio de una letra en su calificación.

La Lección: El Entrenamiento es la Clave

El estudio nos enseña algo muy importante con una analogía sencilla:

Darle un Ferrari a un conductor que no sabe conducir no te hará llegar más rápido; probablemente te estrellarás.

La tecnología (el Ferrari/la IA) por sí sola no mejora la productividad si no sabes cómo manejarla.

• Sin entrenamiento: La gente tiene miedo de usarla o la usa mal, pensando que es una solución mágica.
• Con entrenamiento: La gente entiende que la IA es una herramienta de apoyo, no un reemplazo. Aprenden a usarla para "llamar a la ayuda" (buscar ideas) pero mantienen el control del volante (la revisión final).

¿Por qué es esto importante para el futuro?

Hasta ahora, muchos pensaban que la IA ayudaría más a los trabajadores menos cualificados (los "chefs novatos") para que hicieran el trabajo de los expertos. Pero este estudio sugiere algo diferente:

La IA es tan poderosa que, si no te enseñan a usarla, incluso los expertos (los chefs con experiencia) pueden tener miedo de usarla por el riesgo de equivocarse. El entrenamiento es lo que rompe ese miedo. Permite que los expertos usen la IA para hacer cosas aún más complejas y rápidas.

En Resumen

Si quieres que la Inteligencia Artificial realmente ayude a los abogados (o a cualquier profesional), no basta con comprar el software. Necesitas invertir en enseñar a las personas cómo usarlo.

• Sin entrenamiento: La IA puede ser un estorbo o un peligro.
• Con entrenamiento: La IA se convierte en un superpoder que hace que el trabajo sea más rápido, mejor y más seguro.

Es como darle a un equipo de fútbol un balón de oro: si no saben cómo patearlo, solo lo perderán. Pero si les das un entrenador que les enseñe los trucos, ¡ganarán el partido!

Resumen técnico

Resumen Técnico: Entrenamiento para la Tecnología en el Uso de IA Generativa

1. Planteamiento del Problema

La inteligencia artificial generativa (GenAI), específicamente los Modelos de Lenguaje Grande (LLM), promete transformar las profesiones basadas en el conocimiento, como el derecho. Sin embargo, existe una brecha significativa entre el potencial teórico de estas herramientas y su adopción real en la práctica profesional.

• La Tensión: Los profesionales (abogados) enfrentan un dilema: por un lado, la IA ofrece eficiencia; por otro, existe un riesgo alto de "alucinaciones" (información fabricada) y errores costosos en tareas de alto riesgo.
• La Hipótesis Central: Se desconoce si la simple disponibilidad de la tecnología mejora la productividad o si, por el contrario, se requiere una intervención de capacitación específica para desbloquear el potencial de la IA. La pregunta de investigación es si el entrenamiento de usuarios puede aumentar tanto la adopción (uso de la herramienta) como la eficacia (calidad del resultado) en tareas legales complejas.

2. Metodología

Los autores realizaron un estudio experimental aleatorizado (RCT) en la Facultad de Derecho de la Universidad de Hong Kong.

• Participantes: 164 estudiantes de derecho (grados LLB y JD) inscritos en un módulo central de derecho de contratos.
• Diseño Experimental: Los participantes fueron asignados aleatoriamente a uno de tres grupos:
  1. Grupo de Control (No IA): Acceso solo a bases de datos legales tradicionales (Westlaw).
  2. Grupo de Acceso Libre (IA sin entrenamiento): Acceso a un LLM (DeepSeek) sin ninguna instrucción sobre cómo utilizarlo para análisis legal.
  3. Grupo de Acceso Entrenado (IA + Entrenamiento): Acceso a DeepSeek más una intervención de capacitación de ~10 minutos.
• La Intervención de Entrenamiento: Consistió en un video de 9.5 minutos y un cuestionario. El contenido enseñaba:
  • Técnicas de prompting (repetición de prompts, descomposición de tareas, chain-of-thought).
  • Advertencias críticas sobre la fiabilidad de los LLMs (riesgo de alucinaciones).
  • La necesidad de que el usuario verifique los hechos, reglas y citas generadas.
  • Uso de la IA como asistente para ideas y direcciones, no como generador de soluciones finales.
• Tarea: Un examen simulado de "detección de problemas" (issue-spotting) de derecho de contratos, donde debían identificar y analizar problemas legales en un caso hipotético complejo.
• Métricas:
  • Adopción: Uso auto-reportado de la herramienta.
  • Rendimiento: Puntuación en el examen (puntos de calificación) y número de problemas legales omitidos.
  • Características del texto: Longitud y legibilidad (Flesch-Kincaid).
• Análisis Causal: Se utilizó estratificación principal (principal stratification) para descomponer el efecto del entrenamiento en dos canales:
  1. Efecto de Adopción: Mejora en el rendimiento debido a que personas que no habrían usado la IA ahora la usan.
  2. Efecto de Eficacia: Mejora en el rendimiento de los usuarios que habrían usado la IA de todos modos, pero lo hacen mejor gracias al entrenamiento.

3. Resultados Clave

A. Adopción de la Tecnología

• El entrenamiento aumentó significativamente la tasa de adopción.
  • Grupo sin entrenamiento: 26% de uso.
  • Grupo con entrenamiento: 41% de uso.
• La diferencia de 15 puntos porcentuales es estadísticamente significativa ($p = 0.044$).

B. Rendimiento en el Examen

• IA sin entrenamiento vs. Control: No hubo mejora en el rendimiento. De hecho, el grupo sin entrenamiento escribió respuestas más cortas y obtuvo puntuaciones ligeramente menores (aunque no significativas) que el grupo de control.
• IA con entrenamiento vs. Control: El grupo entrenado superó significativamente al grupo sin entrenamiento.
  • Diferencia en puntos de calificación: +0.27 puntos (equivalente a aproximadamente un tercio de una letra de calificación, $p = 0.027$).
  • El grupo entrenado también mostró una tendencia a omitir menos problemas legales, aunque esta diferencia no fue estadísticamente significativa en todas las pruebas.

C. Análisis de Descomposición (Estratificación Principal)

• El análisis sugiere que el beneficio principal del entrenamiento proviene del canal de adopción (expandir el uso a quienes de otro modo no lo usarían) más que del canal de eficacia (mejorar el uso de los usuarios habituales).
• Las estimaciones de punto indican que el efecto de adopción es mayor que el de eficacia, aunque los intervalos de confianza son amplios, lo que impide descartar estadísticamente que el entrenamiento también mejore la eficacia de los usuarios existentes.

D. Comportamiento y Longitud

• Contrario a la intuición, el grupo que tuvo acceso a la IA sin entrenamiento escribió respuestas más cortas que el grupo de control. Esto sugiere que, sin guía, los usuarios interactúan de manera improductiva con la IA o dependen de ella de forma errónea, reduciendo su esfuerzo cognitivo.

4. Contribuciones Principales

1. Evidencia Empírica sobre el Entrenamiento: Es uno de los primeros estudios que vincula directamente una intervención de capacitación específica con resultados objetivos de productividad en un entorno profesional simulado, demostrando que el acceso a la tecnología sin capacitación es insuficiente e incluso contraproducente.
2. Desglose de Mecanismos: Utiliza un marco de estratificación principal para distinguir entre el efecto de "ampliar el alcance del uso" (extensive margin) y el efecto de "mejorar la calidad del uso" (intensive margin). Los resultados apuntan a que la capacitación es crucial para superar la reticencia inicial de los profesionales de alto nivel ante la IA.
3. Implicaciones para la Economía del Trabajo: Cuestiona la visión tradicional de que la IA solo beneficia a los trabajadores menos cualificados (efecto de nivelación). El estudio sugiere que, con el entrenamiento adecuado, los profesionales más cualificados (que inicialmente evitan la IA por miedo a errores) pueden ser los que más se beneficien al adoptar la herramienta para tareas de juicio complejo.
4. Marco para la Educación Legal: Proporciona evidencia de que la alfabetización en IA debe ser un componente central de la formación profesional, enfocándose no solo en el uso técnico, sino en la gestión de riesgos y la validación crítica.

5. Significado e Implicaciones

• Para la Educación Jurídica: Los currículos deben integrar la instrucción sobre cómo colaborar con la IA, enfatizando la verificación de hechos y la estructura de prompts, en lugar de simplemente prohibir o permitir el acceso a la tecnología.
• Para la Práctica Legal: Las firmas de abogados no deben esperar ganancias de productividad simplemente comprando licencias de IA. Se requiere una inversión complementaria en capital humano (entrenamiento) para que la tecnología sea productiva. Sin esto, la IA puede reducir la calidad del trabajo y fomentar la resistencia a su adopción.
• Teoría de la Tecnología: Los hallazgos apoyan la idea de que la IA es una tecnología de propósito general cuyo éxito depende de la adaptación específica de la tarea y del aprendizaje humano. La productividad no es un resultado tecnológico predeterminado, sino el resultado de la interacción entre la herramienta y las capacidades del usuario.

Conclusión Final:
El estudio concluye que la IA generativa tiene el potencial de transformar el trabajo legal, pero su impacto positivo no es automático. La capacitación del usuario es un factor crítico que actúa como catalizador, permitiendo a los profesionales superar el miedo a los errores y utilizar la tecnología de manera que mejore realmente la calidad del análisis legal y la toma de decisiones.