Triage Score: A Counterfactual Risk Assessment Instrument

Resumen Técnico: Puntuación de Triaje: Un Instrumento de Evaluación de Riesgo Contrafáctico

Declaración del Problema
Los instrumentos de evaluación de riesgo (puntuaciones de riesgo) se despliegan ampliamente en dominios de alto impacto como la justicia penal y la medicina para predecir la probabilidad de un resultado indeseado (por ejemplo, reincidencia o enfermedad) bajo una decisión basal de no intervención. Si bien las puntuaciones altas suelen activar intervenciones (por ejemplo, fianza o cuidados intensivos), este enfoque sufre de un desalineamiento fundamental con la maximización del bienestar. Las puntuaciones de riesgo predicen resultados solo bajo un único escenario basal (no intervención), fallando al no considerar los resultados contrafácticos bajo decisiones alternativas. En consecuencia, no pueden distinguir entre individuos para quienes una intervención alteraría significendamente los resultados y aquellos para quienes no lo haría. Esta limitación oscurece compensaciones éticas y prácticas, como el arrepentimiento asociado con la detención innecesaria de un individuo que no habría reincidido si hubiera sido liberado. Los marcos existentes suelen depender de "etiquetas selectivas" (resultados observados solo para aquellos que recibieron una decisión específica), lo que complica la evaluación de políticas alternativas.

Metodología
Los autores proponen un marco basado en puntuaciones de triaje, una clase de instrumentos de evaluación de riesgo contrafácticos diseñados para alinear la toma de decisiones con el objetivo de maximizar la utilidad esperada. A diferencia de las puntuaciones de riesgo estándar que dependen únicamente del potencial resultado basal $Y(d_0)$, las puntuaciones de triaje se construyen a partir de utilidades contrafácticas aditivas que dependen de la distribución conjunta de los potenciales resultados bajo decisiones alternativas.

1. Marco de Utilidad Contrafáctica:

   • El marco utiliza la estratificación principal (Frangakis y Rubin, 2002), definiendo estratos basados en la distribución conjunta de los potenciales resultados $(Y(0), Y(1), \dots, Y(K_D-1))$. En un entorno binario, estos estratos incluyen: Seguro (sin resultado bajo cualquier decisión), Reacción Adversa (resultado solo bajo intervención), Prevenible (resultado solo bajo no intervención) y Sin Esperanza (resultado bajo cualquier decisión).
   • Las utilidades se definen de forma aditiva: $u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$. El primer término representa la utilidad estándar del resultado realizado, mientras que el segundo término captura la utilidad contrafáctica (o "arrepentimiento") asociada con el resultado que habría ocurrido bajo una decisión alternativa $d'$.
   • Esta estructura aditiva permite al marco distinguir entre casos donde una intervención es genuinamente preventiva y casos donde es innecesaria (por ejemplo, imponer una fianza a un acusado "Seguro").

2. Identificación y Estimación:

   • Bajo el supuesto de unconfoundedness (independencia condicional de los potenciales resultados y las decisiones dado los covariables observados), los autores establecen que la utilidad contrafáctica esperada está identificada puntualmente, incluso sin observar la distribución conjunta completa de los potenciales resultados.
   • El documento emplea estimadores de Ponderación de Probabilidad Inversa Aumentada (AIPW) para estimar las utilidades esperadas. Este enfoque es doblemente robusto, requiriendo la estimación consistente tanto del modelo de decisión (propensión de la decisión del juez) como del modelo de resultado.
   • Para manejar datos de texto de alta dimensión y no estructurados (específicamente, declaraciones juradas de causa probable) que confunden las decisiones judiciales, los autores integran la Inferencia Potenciada por IA Generativa (GPI). Utilizando modelos de lenguaje de gran tamaño (por ejemplo, Llama3) y arquitecturas como DragonNet, extraen deconfundidores de baja dimensión del texto para ajustar la heterogeneidad no observada, satisfaciendo el supuesto de unconfoundedness de manera más plausible que con covariables estructuradas por sí solas.

3. Aprendizaje de Políticas:

   • El marco permite el aprendizaje de reglas de decisión óptimas resolviendo un problema de maximización de utilidad empírica. Para decisiones binarias, esto se reformula como un problema de clasificación ponderada; para decisiones multiclas, implica seleccionar la decisión con la mayor utilidad esperada estimada para cada perfil de covariable.

Aplicación Empírica y Resultados
La metodología se aplica a un ensayo controlado aleatorizado (ECA) en Utah que evalúa la Evaluación de Seguridad Pública (PSA), una puntuación de riesgo de comparecencia. En este estudio, los jueces fueron asignados aleatoriamente para recibir o no las recomendaciones de la PSA. El conjunto de datos incluye 9,855 casos de primera detención con resultados medidos como Nueva Actividad Criminal (NCA), Nueva Actividad Criminal Violenta (NVCA) y Falta de Comparecencia (FTA).

• Especificación de Utilidad: Los autores definen parámetros de utilidad que incorporan el costo de las decisiones (por ejemplo, el costo de la fianza), el costo de los resultados indeseables y los parámetros de arrepentimiento para los resultados contrafácticos.
• Análisis Comparativo: El estudio compara tres sistemas: Humano solo, Humano con PSA, y una política de Árbol de Decisión Óptimo derivada del marco de puntuación de triaje.
• Hallazgos Clave:
  • Sensibilidad a los Parámetros de Utilidad: La regla de decisión preferida (Humano vs. Humano+PSA) es altamente sensible a la especificación de los parámetros de utilidad, particularmente al costo de la fianza y al arrepentimiento asociado con la detención innecesaria.
  • Divergencia de las Puntuaciones de Riesgo: Bajo el marco de puntuación de riesgo estándar (que colapsa los estratos basándose en el riesgo basal), la política óptima a menudo difiere significativamente de la derivada bajo el marco de puntuación de triaje. El marco de puntuación de triaje identifica que la fianza puede ser contraproducente para acusados "Seguros" (aquellos que no reincidirían independientemente de la decisión), un matiz perdido en la puntuación de riesgo estándar.
  • Implicaciones de Política: El análisis demuestra que las conclusiones sobre el valor de las recomendaciones algorítmicas no son absolutas, sino que dependen del peso ético otorgado a los resultados contrafácticos. Por ejemplo, cuando el arrepentimiento por la detención innecesaria es alto, el marco de triaje suele favorecer políticas que reducen el uso de fianzas en comparación con los enfoques basados en el riesgo estándar.

Contribuciones y Significado
El documento realiza tres contribuciones principales:

1. Generalización Teórica: Introduce la puntuación de triaje como una generalización de las puntuaciones de riesgo estándar, desplazando el enfoque de la predicción de un único resultado basal hacia la evaluación de decisiones basadas en la distribución conjunta de los potenciales resultados. Esto permite la incorporación explícita de consideraciones éticas como el arrepentimiento.
2. Avance Metodológico: Proporciona un marco de decisión teórica para evaluar y aprender políticas óptimas bajo utilidades contrafácticas, estableciendo resultados de identificación bajo unconfoundedness y desarrollando estimadores semiparamétricos (AIPW) que acomodan deconfundidores de texto de alta dimensión mediante IA Generativa.
3. Demostración Empírica: A través del ECA de Utah, el documento ilustra cómo las evaluaciones convencionales de las puntuaciones de riesgo pueden arrojar recomendaciones de política sustantivamente distintas y potencialmente subóptimas en comparación con los enfoques basados en triaje. Destaca que la "mejor" regla de decisión es contingente a la estructura de utilidad específica (compensaciones éticas y prácticas) elegida por el tomador de decisiones.

Afirmaciones y Limitaciones
Los autores posicionan la puntuación de triaje no como una herramienta específica para un solo entorno, sino como un marco general de apoyo a la decisión. Establecen explícitamente que no desarrollan una puntuación de triaje específica para la aplicación de Utah, sino que demuestran la capacidad del marco para capturar estructuras de utilidad ricas. El documento reconoce que la validez de los resultados depende del supuesto de unconfoundedness, el cual es hecho plausible en su aplicación mediante la disponibilidad de información judicial completa (incluyendo declaraciones de causa probable) y el uso de GPI para ajustar los deconfundidores basados en texto. Los autores sugieren que el trabajo futuro debería centrarse en la elicitación en el mundo real de los parámetros de utilidad con los responsables de la formulación de políticas y en la extensión del marco a entornos de toma de decisiones dinámicos y secuenciales.