Living with Algorithms: Human-AI Assemblages and Ethical Governance in West African Pastoral Conflict

El panorama general: Cuando las computadoras intentan dirigir la aldea

Imagina a un grupo de vecinos que han vivido juntos durante siglos. Tienen un conjunto complejo y no escrito de reglas para compartir el agua, los pastizales y resolver disputas. Es un sistema basado en susurros, apretones de manos y saber exactamente quién le debe un favor a quién. Es desordenado, flexible y profundamente humano.

Ahora, imagina que llega un equipo de expertos tecnológicos y dice: "Tenemos un programa de computadora superinteligente que puede resolver todos sus problemas más rápido y de manera más justa que sus viejas costumbres". Instalan cámaras, escáneres de identificación biométrica y una IA que predice dónde ocurrirán las peleas.

Este artículo pregunta: ¿Realmente esta computadora hace que las cosas mejoren, o rompe el delicado tejido social que mantiene la paz?

Los investigadores estudiaron esta situación exacta en dos lugares: el Estado de Plateau en Nigeria y la Región de Tillabéri en Níger. Estas son zonas donde los agricultores y los pastores suelen enfrentarse por la tierra y los recursos.

El gran descubrimiento: La "Brecha de Legitimidad"

El estudio encontró una paradoja extraña. Las computadoras eran en realidad buenas en su trabajo técnico. Eran más rápidas enviando alertas y mejores detectando patrones que los antiguos sistemas humanos.

Pero, la gente que vivía allí no confiaba en ellas.

Piensa en esto como un GPS que te da la ruta más rápida pero te lleva conduciendo a través de la sala de estar de tu vecino. El GPS es técnicamente "correcto" (es el camino más rápido), pero no lo usarías porque viola las normas sociales y enfurece a tus vecinos.

El artículo llama a esto la "Brecha de Legitimidad". El sistema era eficiente (rápido), pero carecía de legitimidad (no era visto como justo o correcto por la comunidad). Cuando la gente no confía en el sistema, deja de cooperar y el sistema eventualmente deja de funcionar.

Tres formas en que el sistema falló

Los investigadores encontraron tres formas específicas en las que el sistema "inteligente" chocó con la vida "real":

1. El problema de la "Tarjeta de Identidad Rígida"

• La Tecnología: El sistema utilizaba tarjetas de identificación biométricas para identificar a las personas. Si eras un pastor, la tarjeta decía "Pastor". Si eras un agricultor, decía "Agricultor".
• La Realidad: En estas comunidades, las identidades son fluidas. Un hombre puede pastorear ganado en la estación seca y cultivar productos en la estación húmeda. Puede ser parte fulani y parte berom.
• La Analogía: Imagina una biblioteca que solo te permite sacar libros si tu identificación dice "Lector de Ficción". Si quieres pedir prestado un libro de cocina, la computadora dice: "No, tu identificación dice Ficción". No entiende que eres una persona completa con muchos intereses.
• El Resultado: La computadora etiquetó erróneamente a las personas, lo que llevó a decisiones injustas sobre quién recibía ayuda y quién no.

2. El problema de "Engañar al Sistema"

• La Tecnología: La IA predecía conflictos basándose en datos como el tamaño del ganado y el movimiento.
• La Realidad: La gente se dio cuenta de que la computadora estaba observando. Así que empezaron a engañarla.
• La Analogía: Es como un estudiante que sabe que el profesor califica según una curva. En lugar de estudiar, el estudiante descubre exactamente qué preguntas le gustan al profesor y solo estudia esas.
• El Resultado: Los pastores empezaron a esconder sus collares GPS por la noche o a mentir sobre cuántas vacas tenían. Este "engaño" hizo que los datos de la computadora fueran desordenados y menos precisos con el tiempo. El sistema se volvió más tonto porque la gente intentaba activamente ser más lista que él.

3. El problema de la "Rebelión Silenciosa"

• La Tecnología: La IA utilizaba una "puntuación de riesgo" (un mapa codificado por colores) para decidir quién recibía ayuda de emergencia. Si las lluvias se retrasaban, la computadora decía: "Es demasiado riesgoso plantar; no hay ayuda para ti".
• La Realidad: Los agricultores sabían que la computadora estaba equivocada porque conocían las estaciones locales mejor que el satélite. En lugar de discutir con la computadora, simplemente la ignoraban.
• La Analogía: Imagina a un padre estricto que dice: "Si está lloviendo, no puedes salir". Los niños saben que la lluvia es solo un llovizno, así que salen de todos modos y fingen que no lo hicieron.
• El Resultado: La computadora pensaba que todo estaba bien (porque nadie reportaba la siembra), pero en realidad los agricultores estaban trabajando duro. La computadora era ciega a la verdad porque la gente se negaba a seguir sus reglas rígidas.

La Solución: El "Tribunal Híbrido Humano-IA"

El artículo argumenta que no podemos simplemente arreglar el código. Tenemos que cambiar cómo trabajan juntos la computadora y los humanos. Proponen un nuevo sistema llamado "Ensamblaje Humano-IA".

No pienses en esto como un juez robot, sino como un sistema de copiloto.

Probaron una solución de tres pasos:

1. Umbrales Participativos (Establecer las reglas juntos):
   En lugar de que la empresa tecnológica decida qué cuenta como una "zona de peligro", realizaron un taller con agricultores, pastores y líderes locales. Ajustaron la sensibilidad de la computadora juntos.

• Resultado: Redujeron las falsas alarmas en un 50% porque los locales sabían que la computadora estaba siendo demasiado paranoica.

2. Auditorías de Sesgo Públicas (Revisar la tarjeta de puntuación):
   Cada pocos meses, verificaban públicamente si la computadora trataba de manera justa a los diferentes grupos. Si la computadora denegaba ayuda a los pastores un 18% más a menudo que a los agricultores, lo señalaban de inmediato.

• Resultado: Esto obligó al sistema a corregir sus errores antes de que causaran demasiado daño.

3. Tribunales Híbridos (La anulación humana):
   Crearon un tribunal local compuesto por agricultores y pastores elegidos, y un experto tecnológico. Si la computadora decía "No hay ayuda", este grupo podía decir: "Espera, sabemos que esta familia realmente está en problemas. Anula la decisión de la computadora".

• Resultado: La gente empezó a confiar de nuevo en el sistema porque sabían que un humano podía corregir un error de la computadora. La cooperación aumentó del 58% al 79%.

La "Frontera de la Formalización"

El artículo introduce un concepto genial llamado la "Frontera de la Formalización".

Imagina que estás tratando de escribir una receta para un estofado perfecto.

• 0% a 55%: Escribes los ingredientes y el tiempo de cocción. Esto ayuda mucho.
• 55%: Te topas con un muro. Si intentas escribir cada pequeño detalle (el estado de ánimo exacto del chef, la humedad en la cocina, la marca específica de sal), la receta se vuelve inútil. Es demasiado rígida.

Los investigadores descubrieron que una vez que intentas convertir más del 55% de la vida local en datos duros, el sistema empieza a perder la confianza. No puedes codificar la flexibilidad humana perfectamente.

La Conclusión

El artículo concluye que no puedes tener un sistema de IA exitoso sin confianza.

• Forma Antigua: Construir una computadora más rápida y más inteligente y esperar que la gente la use.
• Nueva Forma: Construir un sistema donde la computadora sea una herramienta, pero los humanos sean los jefes. La computadora proporciona datos, pero los humanos proporcionan el juicio, la justicia y el contexto.

El estudio demuestra que el 63% del éxito del sistema depende de la "Legitimidad Ética" (la confianza de la gente), no solo de qué tan rápido calcula la computadora. Si ignoras el elemento humano, la gente terminará ignorando a la computadora.