Resumen Técnico: Leer entre líneas: Modelado y evaluación del realismo conductual en la simulación legal

Planteamiento del problema

El entrenamiento en deposiciones es un componente crítico de la educación jurídica, que requiere que los abogados dominen habilidades interpersonales dinámicas como el manejo de testimonios no responsivos, la imposición de especificidad y la adaptación a comportamientos de testigos que varían desde lo evasivo hasta lo hostil. Los benchmarks actuales de IA legal evalúan principalmente la precisión fáctica, el razonamiento jurídico o la plausibilidad de respuestas aisladas, fallando al no abordar la dinámica conductual longitudinal esencial para la práctica de las deposiciones. Los abogados noveles carecen de acceso a ejercicios de práctica consistentes, escalables y realistas. Si bien las simulaciones de Modelos de Lenguaje Extensos (LLM) ofrecen una solución potencial, las evaluaciones existentes suelen confundir la plausibilidad superficial de la respuesta con la verdadera fidelidad conductual. Un simulador puede generar respuestas plausibles de forma individual, pero fallar al responder ante la presión adversaria, o, por el contrario, crear interacciones estratégicamente difíciles que carecen de la coherencia del testimonio humano natural. Existe una falta de marcos que distingan entre el realismo conductual (¿actúa el testigo como un humano?) y la utilidad pedagógica (¿proporciona la interacción desafíos de entrenamiento significativos?).

Metodología

1. WITNESSSIM: Un simulador de deposiciones basado en estados

Los autores presentan WITNESSSIM, un simulador de deposiciones dinámico impulsado por personas legales controlables. A diferencia del juego de roles estándar de LLM, WITNESSSIM emplea un sistema dinámico continuo para modelar la evolución del estado psicológico de un testigo bajo un interrogatorio adversario.

• Espacio de estados y arquetipos: El testigo se representa mediante un vector de estado de seis dimensiones $y_t = (C_t, K_t, A_t, V_t, R_t, P_t)$, donde las dimensiones corresponden a Compostura, Conocimiento, Amabilidad, Verbosidad, Rigidez y Desempeño. El sistema utiliza diez arquetipos informados por expertos (p. ej., Combativo, Cooperativo, Defensivo, Inventivo, Loquaz). Crucialmente, el sistema incluye una dimensión dedicada de Conocimiento, distinguiendo entre un testigo que carece de información (Inventivo) y uno que la posee pero habla excesivamente (Loquaz), una distinción que suele perderse en las proyecciones de personalidad de los "Big Five".
• Estados atractores: Cada arquetipo está asociado con un estado atractor fijo $y_0$ que representa el comportamiento base. En ausencia de presión sostenida, el estado dinámico revierte gradualmente hacia este base.
• Codificación de preguntas: Las preguntas del abogado se codifican en una puntuación de presión ($p_t$) basada en marcadores lingüísticos (p. ej., "¿no es cierto que...", "admita") y una puntuación de sensibilidad al tema ($s_t$) basada en la superposición de tokens con temas sensibles pre-registrados. Estos se combinan en una señal de estrés compuesta $\xi_t$.
• Dinámica del estado: El vector de estado se actualiza de forma determinista en cada turno basándose en la señal de estrés y el estado actual. Por ejemplo, la presión disminuye la compostura y la amabilidad mientras aumenta la rigidez; los temas sensibles degradan el recuerdo y pueden aumentar la verbosidad. Un multiplicador de fatiga escala la degradación del desempeño a lo largo de la duración de la deposición.
• Detección de eventos: Los eventos conductuales discretos (p. ej., "Testigo alterado", "Testigo combativo") se activan cuando se alcanzan ciertos umbrales de estado. Estos eventos se anexan al prompt del sistema del LLM para fundamentar el diálogo generado en el estado matemático subyacente, evitando que el modelo derive.
• Bucle de generación: Para cada turno, el sistema codifica la pregunta, actualiza el estado, calcula las puntuaciones conductuales derivadas, detecta eventos y solicita al LLM subyacente (Claude Sonnet 5) que genere una respuesta condicionada por la persona, el estado actual y el historial.

2. Marco de evaluación

Los autores proponen un marco de evaluación de dos capas que separa el Realismo Conductual de la Utilidad Pedagógica.

• Realismo Conductual: Evalúa si el testimonio generado es plausible y mantiene una identidad coherente.
  • Pruebas adversarias: Prueba la robustez contra modos de falla específicos (p. ej., forzar a un testigo cooperativo a admitir la culpa, probar la evasión selectiva).
  • Comparación ciega con expertos: Los abogados comparan las secuencias generadas por WITNESSSIM frente a transcripciones de deposiciones auténticas para juzgar la plausibilidad contextual.
  • Análisis longitudinal: Utiliza trayectorias de vectores de emoción para analizar la dinámica afectiva a lo largo del tiempo, comparando la estructura temporal de las deposiciones simuladas frente a las reales.
• Utilidad Pedagógica: Evalúa si el simulador crea desafíos reconocibles que responden significamente a la intervención del abogado.
  • Evaluación basada en tareas: Se probaron cuatro escenarios de entrenamiento específicos: control de la forma de la pregunta (Cooperativo), forzar la especificidad de un testigo evasivo, redirigir a un testigo loquaz y gestionar a un testigo hostil. El éxito se mide por si el comportamiento del testigo cambia en respuesta a las estrategias legales sin colapsar el arquetipo asignado.

3. Configuración experimental

La evaluación utilizó un corpus de 300 transcripciones de deposiciones y juicios extraídos del Litigio Nacional sobre Opioides de Prescripción (Caso No. 1:17-MD-2804). Los testigos simulados se fundamentaron en los materiales correspondientes del caso. Las evaluaciones incluyeron ataques adversarios, juicios ciegos realizados por abogados en ejercicio (asociados, litigantes senior y consejeros de arbitraje) y puntuaciones automatizadas validadas por anotación humana.

Resultados clave

Realismo Conductual

• Robustez adversaria: WITNESSSIM generalmente preservó los límites conductuales previstos. En pruebas donde se presionó a testigos cooperativos para que admitieran la culpa, el 99.0% mantuvo un límite de autoprotección. Los testigos evasivos mostraron resistencia selectiva (86.0% de evasión en temas sensibles frente a triviales), y la irritación surgió en el orden esperado a través de los arquetipos bajo repetición.
• Plausibilidad: En comparaciones ciegas, los abogados en ejercicio no prefirieron sistemáticamente el testimonio auténtico sobre el de WITNESSSIM. Los asociados y litigantes senior seleccionaron WITNESSSIM en el 30.0% y 32.7% de los casos respectivamente, con altas tasas de empate (40.0% y 22.4%). Sin embargo, un consejero de arbitraje senior con formación en ingeniería y experiencia previa en simulación de IA identificó el testimonio auténtico en el 90% de los casos, sugiriendo que ciertos artefactos siguen siendo detectables para expertos atentos a la generación de LLM.
• Fidelidad longitudinal: El análisis de trayectorias de vectores de emoción reveló que, si bien las deposiciones simuladas y reales mostraron una alineación temporal modesta ($r = .148$), las trayectorias simuladas fueron significativamente más suaves y comprimidas que las reales. El Análisis de Componentes Principales (PCA) separó las transcripciones reales de las sintéticas, indicando brechas en el realismo conductual de largo alcance.

Utilidad Pedagógica

• Responsividad a la intervención: El simulador generó con éxito escenarios conductualmente distintos donde las intervenciones de los abogados produjeron cambios significativos.
  • Forma de la pregunta: Las preguntas abiertas eliciaron respuestas más largas (promedio de 175.9 palabras) en comparación con las cerradas (86.5) o de alta presión (68.4).
  • Control de evasión: El 93.0% de los contextos siguieron la trayectoria prevista de la evasión al control, aunque el 33.1% de las respuestas finales retuvieron el uso de términos de duda (hedging).
  • Testigo hostil: El 97.7% de los testigos combativos alcanzaron el control sustantivo, aunque el 97.3% de los que fueron controlados retuvieron marcadores de hostilidad en sus respuestas.
• Preservación del arquetipo: Los testigos respondieron a la presión sin colapsar uniformemente en una cooperación genérica. Por ejemplo, los testigos loquaces a menudo permanecieron verbosos incluso cuando se les enfocaba, preservando el desafío central del arquetipo.

Significancia y Reivindicaciones

El artículo afirma establecer un marco para evaluar simulaciones legales que va más allá de la plausibilidad de la respuesta aislada para considerar la fidelidad conductual a través de interacciones sostenidas.

1. Distinción de dimensiones: Los autores argumentan que el realismo conductual y la utilidad pedagógica son distintos pero complementarios. Un simulador puede ser pedagógicamente útil (creando interacciones difíciles y responsivas) incluso si carece de un realismo perfecto de largo alcance, y viceversa.
2. Limitaciones de la evaluación a nivel de respuesta: Los resultados demuestran que las respuestas individuales plausibles son insuficientes para evaluar simulaciones interactivas. La naturaleza "más suave" y "comprimida" de las trayectorias simuladas resalta que los modelos actuales luchan por replicar la varianza y complejidad total del comportamiento humano a lo largo del tiempo.
3. Utilidad de entrenamiento: El estudio sugiere que WITNESSSIM puede proporcionar a los abogados oportunidades repetibles y configurables para practicar el manejo de comportamientos de testigos difíciles. Sin embargo, los autores declaran explícitamente que la evaluación no establece que estas simulaciones mejoren el aprendizaje del abogado o la transferencia de habilidades; solo establece que las simulaciones contienen los desafíos conductuales necesarios para permitir tal práctica.
4. Dirección futura: El artículo postula que la simulación humana de alta fidelidad requiere métodos que evalúen no solo la plausidad de la respuesta a un prompt único, sino la coherencia del comportamiento, su persistencia y su evolución plausible a lo largo de una interacción.

Los autores concluyen que, si bien WITNESSSIM representa un paso hacia la simulación legal de alta fidelidad, el trabajo futuro debe conectar las medidas de realismo conductual con los resultados de aprendizaje posteriores para validar plenamente la utilidad del sistema en el entrenamiento profesional.