Quantifying Harm

Este artículo amplía una definición cualitativa previa del daño mediante el desarrollo de un marco cuantitativo para medir el daño individual y social bajo incertidumbre, demostrando que los métodos de agregación simples pueden producir resultados contraintuitivos y proponiendo alternativas basadas en la teoría de la decisión, particularmente en el contexto de la medicina de precisión.

Lo esencial

La Gran Imagen: De "¿Hizo daño?" a "¿Cuánto daño hizo?"

Imagina que eres un juez tratando de decidir si un nuevo sistema de IA causó daño. En el pasado, los autores (Beckers, Chockler y Halpern) tenían una regla simple: Sí o No. ¿El IA causó daño? Si la respuesta era "Sí", eso era todo.

Pero en el mundo real, necesitamos ser más precisos. No solo queremos saber si ocurrió un daño; queremos saber qué tan grave fue para poder elegir la mejor opción. Este artículo trata sobre construir una regla matemática para medir la "cantidad" de daño, en lugar de simplemente un interruptor de luz que diga "encendido" o "apagado".

1. La Línea Base: ¿Qué es "Normal"?

Para medir el daño, necesitas un punto de partida. Piensa en ello como un termostato.

• La Utilidad Predeterminada: Esta es la temperatura "normal" de una habitación.
• El Resultado: Esta es la temperatura real después de que el calefactor o el aire acondicionado funcionan.

Si la habitación debería estar a 70°F (el predeterminado) y el calefactor la lleva a 75°F, eso es un beneficio. Si el aire acondicionado la lleva a 60°F, eso es un daño. La cantidad de daño es simplemente la diferencia entre donde deberías estar y donde realmente terminaste.

El Giro: El artículo argumenta que lo "normal" no siempre es cero. A veces, lo "normal" es un rango.

• Analogía: Imagina dejar una propina a un camarero.
  • El Rango: Una propina entre el 15% y el 20% es "normal". No es ni buena ni mala; simplemente es esperada.
  • Daño: Si das una propina del 5%, has causado daño (estás por debajo del suelo).
  • Beneficio: Si das una propina del 50%, has creado un beneficio (estás por encima del techo).
  • El Punto: No puedes decir simplemente "más dinero es siempre mejor". Hay un "punto dulce" donde no pasa nada.

2. El Lanzamiento de Dados: Enfrentando la Incertidumbre

La vida rara vez es cierta. A veces la cirugía de un médico cura a un paciente; a veces los mata. ¿Cómo medimos el daño cuando el resultado es una apuesta?

El artículo examina cómo las personas realmente piensan sobre el riesgo, lo cual a menudo es extraño.

• El Problema del "Coche Sin Conductor": Imagina un coche autónomo.
  • Opción A: Conducir a la velocidad límite. Hay una posibilidad de 1 en un millón de un accidente mortal.
  • Opción B: Conducir un 20% más lento. Hay una posibilidad de 1 en 2 millones de un accidente mortal.
  • Las Matemáticas: La Opción B es más segura. Si solo haces las matemáticas (Utilidad Esperada), siempre deberías elegir la B.
  • La Realidad: Las personas a menudo prefieren la Opción A. ¿Por qué? Porque nuestros cerebros tratan una posibilidad de 1 en un millón como "básicamente cero". Ignoramos los riesgos diminutos.

Los autores sugieren que usemos Ponderación de Probabilidad. En lugar de tratar un riesgo del 1% y un riesgo del 0,0001% de forma lineal, les aplicamos un "peso".

• Analogía: Piensa en una lupa.
  • A veces usamos una lupa que hace que los riesgos diminutos parezcan enormes (como temer un ataque terrorista después de escuchar sobre él).
  • A veces usamos un "dimmer" (regulador de intensidad) que hace que los riesgos diminutos desaparezcan (como ignorar el riesgo de un accidente de coche porque conducimos todos los días).
  • Para medir el daño con precisión, debemos tener en cuenta cómo los humanos realmente perciben estas probabilidades, no solo los números crudos.

3. El Problema del Grupo: Equidad y Agregación

¿Qué sucede cuando una política hiere a 1.000 personas? ¿Simplemente sumamos el dolor?

• La Trampa de la "Suma": Si la Política A hiere a 1.000 personas aleatorias por un poco, y la Política B hiere a 1 persona específica por mucho, una suma matemática simple podría decir que son iguales.
• El Problema de la Equidad: Intuitivamente, nos sentimos diferente ante estos dos casos. Herir a 1.000 personas aleatorias se siente diferente a apuntar a 1 persona específica (o a un grupo específico, como una comunidad minoritaria).

El artículo propone una Penalización por Equidad.

• Analogía: Imagina el comedor escolar.
  • Si el comedor da accidentalmente un mal almuerzo a 100 estudiantes aleatorios, eso es molesto.
  • Si el comedor solo da malos almuerzos a los estudiantes sentados en la Mesa 5, eso se siente como acoso.
  • Los autores sugieren que nuestra "calculadora de daño" debería añadir una penalización masiva si una política hiere desproporcionadamente a un grupo específico e identificable. No se trata solo del número total de personas heridas; se trata de quién resulta herido.

4. El Debate sobre la Medicina de Precisión

El artículo conecta estas ideas con un argumento reciente en medicina sobre la "Medicina de Precisión" (adaptar los tratamientos a genes específicos).

• El Conflicto: Algunos expertos dicen: "Trata al paciente si el beneficio promedio es positivo". Otros dicen: "No, debemos priorizar evitar el daño al individuo, incluso si el beneficio promedio es positivo".
• La Visión de los Autores: Muestran que este debate es en realidad solo una versión específica de los problemas que ya resolvieron.
  • El enfoque de "Beneficio Promedio" ignora el "Predeterminado" (lo que sucede si no hacemos nada).
  • El enfoque de "Evitar el Daño" a menudo se basa en una definición específica de causalidad (la prueba del "Pero-Por": "¿Habrían muerto pero por el tratamiento?").
  • Los autores argumentan que el debate médico está perdiendo la sutileza del contexto. Lo que es "daño" depende de cómo era la vida del paciente antes del tratamiento. Si un paciente ya está muriendo, un tratamiento arriesgado podría no ser "dañino" incluso si los mata, porque la alternativa era la muerte de todos modos.

5. La Parte Difícil: Las Matemáticas son Difíciles

Finalmente, el artículo admite que calcular esto es computacionalmente muy difícil.

• Analogía: Imagina intentar resolver un enorme rompecabezas Sudoku donde cada vez que mueves un número, las reglas del rompecabezas cambian ligeramente.
• Los autores demuestran que averiguar exactamente "cuánto" daño ocurrió es un problema que le toma a una supercomputadora mucho tiempo resolver en el peor de los casos.
• Sin embargo: Argumentan que en la vida real, los rompecabezas no suelen ser tan grandes. La mayoría de las decisiones involucran un número manejable de variables, por lo que aún podemos usar estas definiciones en la práctica.

Resumen

Este artículo construye una herramienta sofisticada para medir el daño. Va más allá de respuestas simples de "Sí/No" para preguntar:

1. ¿Cuánto peor es el resultado en comparación con la línea base "normal"?
2. ¿Cómo ajustamos por cómo los humanos perciben el riesgo (ignorando riesgos diminutos vs. temerlos)?
3. ¿Cómo nos aseguramos de no estar apuntando injustamente a grupos específicos?

Al responder estas preguntas, los autores esperan ayudar a los sistemas de IA, a los médicos y a los responsables políticos a tomar decisiones que se alineen mejor con la intuición humana sobre lo que es verdaderamente "dañino".

Resumen técnico

Resumen Técnico: Cuantificación del Daño

Enunciado del Problema
Aunque los sistemas de Inteligencia Artificial influyen cada vez más en dominios críticos como la atención sanitaria, la contratación y la conducción autónoma, definir y medir el "daño" sigue siendo un desafío significativo. Los marcos regulatorios existentes, como la Ley Europea de Inteligencia Artificial, requieren la evaluación tanto de la gravedad como de la probabilidad del daño, sin embargo, la literatura filosófica suele describir el concepto de daño como un "desorden frankensteiniano" de cuentas conflictivas. El trabajo previo de los autores estableció una definición cualitativa de daño (determinar si ocurrió o no daño) basada en modelos causales y una utilidad por defecto. No obstante, las aplicaciones prácticas requieren una noción cuantitativa de daño para comparar intervenciones, agregar el daño a través de poblaciones y tener en cuenta la incertidumbre. El artículo aborda la brecha entre la causalidad cualitativa y las métricas cuantitativas necesarias para la formulación de políticas y la toma de decisiones éticas.

Metodología
Los autores desarrollan un marco cuantitativo fundamentado en modelos causales estructurales y la definición de causalidad actual de Halpern-Pearl. La metodología procede a través de varias etapas:

1. Daño Cuantitativo en un Contexto Determinista:
   Los autores definen el daño cuantitativo ($QH$) para un solo agente en un contexto fijo. Se calcula como la diferencia entre la utilidad del resultado real y una línea base, acotada por una "utilidad por defecto" ($d$). Específicamente, si una acción $\vec{X}=\vec{x}$ causa un resultado $O=o$ en lugar de un resultado contrastivo $O=o'$, el daño es $\max(0, \min(d, u(o')) - u(o))$. Esta formulación asegura que el daño solo se registre si la utilidad real es menor que tanto la utilidad contrastiva como la utilidad por defecto.

2. Manejo de la Incertidumbre (Ponderación de Probabilidades):
   Para abordar la incertidumbre respecto a los contextos, el artículo pasa del daño esperado simple al Daño Cuantitativo Esperado Ponderado (WEQH). Reconociendo que la toma de decisiones humana a menudo se desvía de la maximización estricta de la utilidad esperada (por ejemplo, sobrepesando probabilidades pequeñas o subpesándolas basándose en la experiencia), los autores incorporan una función de ponderación de probabilidades $w$. El WEQH es la suma de las probabilidades ponderadas de los contextos multiplicadas por el daño cuantitativo en esos contextos. Esto permite que el modelo capture fenómenos como la preferencia por evitar eventos catastróficos raros (sobrepesado) o ignorar riesgos insignificantes en actividades diarias (subpesado).

3. Agregación del Daño Social y Equidad:
   El artículo critica el enfoque "obvio" de simplemente sumar daños individuales, señalando que falla al no tener en cuenta la equidad y el impacto desproporcionado en subpoblaciones específicas. Los autores proponen un Modelo de Utilidad Colectiva que introduce un término de penalización ($\alpha$) si un grupo identificable predefinido ($G$) sufre un daño promedio significativamente mayor ($\beta$) que el promedio de la población. Este mecanismo permite que el marco penalice políticas que concentran el daño en grupos específicos, incluso si el daño agregado total es bajo.

4. Asimetría entre Daño y Beneficio:
   A diferencia de los análisis costo-beneficio estándar que tratan el beneficio como el opuesto simétrico del daño, los autores proponen un intervalo por defecto $D = [d_h, d_b]$. Los resultados por debajo de $d_h$ constituyen daño, los resultados por encima de $d_b$ constituyen beneficio, y los resultados dentro del intervalo son neutrales. Esto captura la intuición de que existe un rango "seguro" de resultados donde no se incurre ni en daño ni en beneficio.

5. Análisis de Complejidad:
   El apéndice analiza la complejidad computacional de determinar y calcular el daño. Se demuestra que decidir si ocurre daño (cualitativo) es DP-completo, mientras que calcular la magnitud del daño cuantitativo es $FP^{NP[\log n]}$-completo. Los autores señalan que, aunque estas clases sugieren intratabilidad en el peor de los casos, las aplicaciones prácticas con conjuntos pequeños de variables o consideraciones de simetría pueden hacer que el problema sea factible.

Contribuciones y Resultados Clave

• Definición Formal: El artículo proporciona la primera definición formal y cuantitativa de daño que integra modelos causales, teoría de la utilidad y una línea base por defecto.
• Refutación de la Agregación Simple: Los autores demuestran que sumar daños esperados puede conducir a resultados contra intuitivos, particularmente en lo que respecta a la equidad y la distribución del riesgo. Muestran cómo la ponderación de probabilidades y las penalizaciones basadas en grupos pueden resolver estas paradojas (por ejemplo, el ciclo de daño de Norcross).
• Comparación con RBT: El artículo ofrece una comparación detallada con el enfoque de Richens, Beard y Thompson (RBT). Los autores argumentan que la dependencia de RBT de la causalidad "pero-por" y una única acción por defecto (no tratamiento) conduce a conclusiones erróneas, como implicar que no tratar a un paciente no causa daño. El uso de los autores de una definición de causalidad más general y una utilidad por defecto flexible produce resultados más matizados y médicamente plausibles.
• Contexto de Medicina de Precisión: El marco se aplica a un debate reciente en medicina de precisión (que involucra a Dawid, Senn, Sarvet, Stensrud, Mueller y Pearl). Los autores muestran que los debates sobre las reglas de tratamiento (por ejemplo, maximizar el Efecto Promedio del Tratamiento frente a ponderar el beneficio contra el daño) son esencialmente casos especiales de las cuestiones más amplias de utilidad por defecto y ponderación de probabilidades abordadas en su marco.

Significado y Afirmaciones
El artículo se posiciona como un paso fundamental hacia un enfoque formal para determinar el daño en la práctica, particularmente para los sistemas de IA y las políticas públicas. Los autores afirman modestamente que este trabajo constituye un "primer paso" en lugar de una solución completa. Enfatizan que:

• La definición de daño cuantitativo para un solo agente en un contexto fijo es sencilla, pero surgen sutilezas con la incertidumbre y la agregación.
• El enfoque propuesto para la equidad (penalizar el daño desproporcionado) es un boceto que requiere una validación empírica adicional para asegurar que se alinee con los heurísticos humanos.
• El manejo de la ponderación de probabilidades (sobrepesado frente a subpesado) es complejo y dependiente del contexto, requiriendo que los responsables de la formulación de políticas sopesen consideraciones normativas y descriptivas en lugar de asumir una función de ponderación universal.
• El marco integra daño y culpa, sugiriendo un camino hacia una teoría completa de la responsabilidad moral, aunque el artículo se centra principalmente en los mecanismos de cuantificación del daño.

En última instancia, el artículo argumenta que una definición cuantitativa rigurosa y basada en la causalidad del daño es crítica para el despliegue ético de la IA y la formulación de regulaciones como la Ley Europea de Inteligencia Artificial, avanzando más allá del "desorden" de los debates filosóficos cualitativos hacia métricas accionables.