AI Pluralism and the Worlds It Misses

Resumen Técnico: El pluralismo de la IA y los mundos que ignora

Planteamiento del problema
Los marcos actuales para el pluralismo de la IA se centran principalmente en el pluralismo de valores: representar diversas preferencias, valores o resultados de los usuarios. El artículo sostiene que este enfoque es incompleto porque los sistemas de IA también imponen ontologías: compromisos de representación prácticos que definen qué entidades existen, cómo se relacionan, qué constituye evidencia y qué se cuenta como un resultado válido.

El modo de falla central identificado es el aplanamiento ontológico. Esto ocurre cuando significados situados, disputados, históricamente específicos y encarnados (el "mundo de la vida" o lifeworld) se convierten en categorías técnicas restringidas, proxies, reglas de agregación o objetivos de evaluación (benchmarks) que son tratados como neutrales y difíciles de impugnar. Aunque los métodos pluralistas pueden generar con éxito diversos resultados o agregar retroalimentación, a menudo operan sobre ontologías fijas donde las definiciones de las categorías y las reglas de agregación permanecen fuera de la autoridad de los actores afectados. Esto resulta en un "pluralismo de resultados" (respuestas diversas) que coexiste con un "monismo ontológico" (una forma única y fija de definir el mundo).

Metodología
Este documento emplea una síntesis conceptual y cualitativa acotada en lugar de una revisión sistemática o un nuevo experimento controlado. La metodología consta de tres componentes principales:

1. Mapeo de conceptos: Un muestreo teórico propositivo de la literatura que abarca el pluralismo de valores, la alineación pluralista, la IA participativa, la justicia procedimental, los estudios de ciencia y tecnología (STS) y la investigación de la rendición de cuentas.
2. Entrevistas a expertos: 11 entrevistas confidenciales semiestructuradas con expertos en derecho, ética e IA. Estas se utilizaron para el refinamiento de constructos (por ejemplo, distinguir la autoridad procedimental de la inclusión epistémica) en lugar de para inferencias estadísticas o afirmaciones de prevalencia.
3. Análisis de casos: Análisis secundario de tres manuscritos complementarios centrados en sistemas urbanos, de espacios públicos y basados en visión:
   • Caso A: Un conjunto de datos de generación de espacios públicos pluralista utilizando Optimización de Preferencia Directa (DPO) con criterios definidos por la comunidad.
   • Caso B: Un modelo de inclusividad de paisajes urbanos participativo utilizando datos de entrevistas y grupos focales para el modelado predictivo.
   • Caso C: Una evaluación sensible a la fiabilidad de modelos de lenguaje y visión urbana frente a anotaciones humanas.

El análisis utiliza una matriz de cinco códigos (punto de entrada ontológico, manejo del desacuerdo, autoridad/recurso, limitación de proxy, continuación del ciclo de vida) para identificar mecanismos de aplanamiento a través del ciclo de vida de la IA (encuadre del problema, generación de datos, etiquetado, entrenamiento, evaluación, despliegue y retiro).

Contribuciones clave
El artículo realiza tres contribuciones distintas:

1. Definición de aplanamiento ontológico: Define esto como un modo de falla específico donde los inputs o outputs pluralistas coexisten con ontologías fijas. Distingue el aplanamiento del sesgo, la clasificación errónea o la falla del proxy al preguntar si el espacio de etiquetas mismo posee una autoridad injustificada y si los actores afectados tienen legitimidad para impugnar los compromisos de representación.
2. Distinción entre pluralismo de resultados y procedimental:
   • Pluralismo de resultados: Sistemas que producen, dirigen o aproximan diversos resultados.
   • Pluralismo procedimental: Sistemas donde los actores afectados tienen legitimidad sobre el encuadre del problema, las categorías, la evidencia, la agregación, la evaluación y la revisión.
     El artículo argumenta que el pluralismo de resultados es insuficiente si el pluralismo procedimental está ausente.
3. Gobernanza del ciclo de vida pluralista (PLG): Un andamiaje preliminar de auditoría cualitativa (no un instrumento de puntuación validado) para documentar cinco dimensiones de la IA pluralista:
   • Apertura ontológica: La capacidad de impugnar categorías, proxies y métricas.
   • Inclusión epistémica: La admisibilidad de múltiples formas de conocimiento (incluyendo la experiencia vivida) como evidencia.
   • Autoridad procedimental: Participación que incluye derechos de decisión (por ejemplo, veto, pausa, revisión vinculante) en lugar de solo aportes consultivos.
   • Pluralismo de evaluación: La preservación del desacuerdo, la neutralidad, la abstención y los datos de fiabilidad en lugar de su eliminación.
   • Rendición de cuentas del ciclo de vida: La persistencia de los compromisos pluralistas a través del despliegue, monitoreo, revisión y desmantelamiento.

Resultos y hallazjes empíricos
El análisis de los tres casos ilustra cómo los métodos pluralistas pueden mejorar el comportamiento del modelo y, aun así, comprimir las categorías antes de que los actores afectados tengan legitimidad procedimental:

• Caso A (Generativo): Aunque se utilizaron conceptos comunitarios, el objetivo de DPO convirtió los juicios multicriterio en preferencias binarias por pares mediante votación por mayoría. Las comparaciones neutrales (que indican ambigüedad o compensaciones/trade-offs) se preservaron pero fueron tratadas como un objetivo residual en lugar de un estado válido del mundo, ilustrando una "compresión procedimental".
• Caso B (Predictivo): Se utilizaron etiquetas participativas para entrenar un modelo, pero los mapas de calor resultantes corrieron el riesgo de sustituir los significados situados (por ejemplo, accesibilidad, pertenencia) por estéticas visibles. La estructura de gobernanza carecía de autoridad para que las comunidades revisaran la resolución del mapa o prohibieran usos punitivos.
• Caso C (Evaluación): El benchmark reportó fiabilidad y abstención, pero las etiquetas de consenso aún podrían ocultar semánticas inestables. El estudio observó que las dimensiones más cercanas a los atributos visibles eran más fáciles de medir que las dimensiones de apreciación, y que un $\alpha$ de Krippendorff negativo indicó un desacuerdo sistemático que debería impedir tratar esas dimensiones como una verdad de base (ground truth) estable.

La síntesis concluye que el pluralismo es más frágil donde un mundo de la vida se convierte en un objeto técnico. Si un sistema comienza con etiquetas fijas, la participación posterior solo puede llenar los valores para esas etiquetas.

Significancia y reclamos
El artículo sostiene que el pluralismo de la IA debe abordar el pluralismo ontológico junto con el pluralismo de valores. Argumenta que la investigación actual sobre alineación a menudo agrega juicios heterogéneos en una sola señal de entrenamiento o trata el desacuerdo como ruido, fallando en preservar formas disputables de creación de mundos.

La significancia del trabajo radica en cambiar el enfoque de "¿cuántos resultados hay?" a "¿quién define la ontología?". Postula que la abstracción legítima es posible solo cuando la compresión es acotada, documentada, revisable y proporcionada, y cuando los actores afectados retienen el derecho a impugnar el esquema mismo. El artículo no pretende proporcionar un instrumento validado para calificar sistemas de IA; más bien, ofrece un marco para hacer explícitos la evidencia y las condiciones de gobernanza de la IA pluralista, argumentando que sin legitimidad procedimental sobre la ontología, la IA pluralista corre el riesgo de reproducir una visión del mundo monista bajo la apariencia de diversidad.