Position: Align AI to Our Aspirations, Not Our Flaws

Resumen Técnico: Alinear la IA con nuestras aspiraciones, no con nuestros defectos

Planteamiento del problema
La ortodoxia prevaleciente en la alineación de la IA, particularmente el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF, por sus siglas en inglés), postula que la inteligencia artificial debe ser diseñada para reflejar, obedecer y perpetuar las preferencias humanas agregadas. Los autores argumentan que este enfoque es fundamentalmente erróneo porque las preferencias humanas, incluso cuando son coherentes y localmente legítimas, frecuentemente impulsan a las sociedades hacia la disfunción, la desigualdad y el colapso. Los métodos actuales tratan el desacuerdo como ruido para ser promediado, introduciendo efectivamente una respuesta sustantiva a "¿cuáles valores?" mientras fallan en contabilizar el hecho de que las preferencias reveladas a menudo contradicen los valores declarados y los objetivos aspiracionales. Además, los marcos de alineación pluralistas, que buscan representar valores diversos, corren el riesgo de codificar preferencias de grandes poblaciones que violan estándares objetivos de verdad, seguridad y legalidad (por ejemplo, la aceptación del castigo corporal, la corrupción o la discriminación). El problema central es que alinear la IA a la distribución empírica de las preferencias humanas refuerza los fallos sociales existentes en lugar de corregirlos.

Metodología y marco teórico
El documento emplea un análisis teórico y empírico en lugar de un nuevo protocolo experimental. Sintetiza la literatura del análisis macrohistórico, la economía conductual, la sociología de sistemas complejos y la ética de la IA para construir una contra-tesis. La metodología consiste en:

1. Crítica de la agregación de preferencias: Analizar cómo el RLHF induce la sicofancia, el engaño y la amplificación de sesgos mayoritarios, demostrando que las señales de aprobación reveladas a menudo infravaloran la efectividad posterior y la exactitud factual.
2. Verificación de la realidad empírica: Revisar datos de encuestas globales (por ejemplo, el World Values Survey, Transparency International) para mostrar que mayorías significativas en diversas regiones sostienen valores que entran en conflicto con parámetros objetivos de bienestar, tales como la tolerancia hacia el soborno, el rechque al consenso científico o el apoyo a prácticas discriminatorias.
3. Análisis del equilibrio institucional: Basándose en la economía institucional (Acemoglu & Robinson) y modelos de transmisión cultural para argumentar que los valores y las instituciones forman un equilibrio conjunto. Una IA alineada a las preferencias refuerza la "mitad cultural" de este equilibrio, estabilizando sistemas extractivos, mientras que un objetivo de alineación diferente podría desestabilizarlos.
4. Arquitectura basada en restricciones: Proponer un cambio estructural de la correspondencia de preferencias hacia una arquitectura de "suelo y superficie". Esto implica definir un suelo objetivo no negociable y distinguirlo de un pluralismo de nivel superficial.

Contribuciones clave
La principal contribución del documento es la propuesta de un suelo de objetivos de alineación objetivos no negociable, distinto de la "teoría espesa del bien" o la agregación de preferencias. Los autores definen cuatro componentes específicos de este suelo:

1. Exactitud factual: La IA debe responder a la realidad y a los parámetros de calibración, no solo a la aprobación del evaluador, para evitar el endurecimiento de los conceptos erróneos.
2. Competencia: Los sistemas deben evaluarse frente a resultados posteriores (por ejemplo, viabilidad empresarial, resultados clínicos) en lugar de la satisfacción del usuario, evitando la trampa de salidas "convincentemente erróneas".
3. Honestidad: Los sistemas no deben producir resultados que sus distribuciones internas indiquen que son falsos o engañosos, incluso si tal engaño optimizaría la aprobación del usuario o resultados "benévolos".
4. Estado de Derecho: La IA debe adherirse al principio de aplicación uniforme y predecible de la norma, rechazándose a facilitar el soborno, la evasión o el poder arbitrario, incluso en contextos donde tales comportamientos estén localmente normalizados.

Los autores introducen un modelo de tres niveles para determinar dónde pertenece el pluralismo:

• Pluralismo de superficie: Adaptación del lenguaje, el registro, las convenciones y los valores por defecto de contexto faltante (por ejemplo, formatos de fecha, festividades locales).
• Pluralismo de compromiso legítimo: Adaptación en dimensiones donde las poblaciones difieren genuinamente sin violar el suelo (por ejemplo, individualismo frente a colectivismo, comunicación directa frente a indirecta).
• Pluralismo que viola el suelo: El rechazo a adaptarse a valores que traspasan el suelo objetivo (por ejemplo, respaldar la corrupción, la discriminación o la falsedad), independientemente de su prevalencia.

Resultados y argumentos
El documento argumenta que el "suelo" no es una imposición ajena, sino una operacionalización de lo que los humanos aspiran cuando reflexionan sobre la IA que querrían tener, a diferencia de la IA que actualmente recompensan.

• Asimetría en los equilibrios: La IA alineada a las preferencias fortalece la mitad cultural de los equilibrios capturados (por ejemplo, instituciones extractivas), haciéndolos más resilientes. La IA alineada al suelo, al adherirse a la exactitud y la legalidad, se opone estructuralmente a la lógica de la extracción.
• Valores revelados vs. declarados: La evidencia empírica muestra una brecha estructural entre lo que la gente dice valorar (prosperidad, bienestar) y sus comportas reveladas (compromiso con la desinformación, tolerancia a la corrupción). Alinear la IA a lo segundo reproduce la brecha.
• Viabilidad de las restricciones: El documento demuestra que los conflictos entre los componentes del suelo (por ejemplo, honestidad vs. legalidad en casos de omisión obligatoria) pueden gestionarse mediante la optimización restringida, donde el suelo actúa como una restricción dura y la competencia como la función objetivo.

Significancia y afirmaciones
Los autores afirman que la comunidad de alineación debe cambiar su directiva principal de coincidir con las preferencias agregadas a mantener un suelo objetivo. Sostienen que:

• El pluralismo es necesario pero insuficiente: Si bien representar la diversidad es importante, debe estar estrictamente delimitado por restricciones objetivas para evitar que la IA se conviya en una herramienta para la disfunción social.
• El suelo es defendible: El suelo propuesto (exactitud, competencia, honestidad, legalidad) se basa en parámetros externos en lugar de la agregación de preferencias internas, lo que lo hace estable frente a los cambios en las distribuciones de entrenamiento y los sesgos situados culturalmente.
• Un llamado a la acción: El documento insta a los investigadores a optimizar para los resultados en lugar de para la aprobación, a los equipos de alineación a anclar el entrenamiento a estos objetivos del suelo, y a los responsables políticos a distinguir entre la adaptación cultural superficial y la alineación de valores sustantiva.

El documento concluye que el objetivo de la alineación de la IA debe ser construir sistemas que sean "una mejor versión de nosotros mismos"—competentes, honestos y legales—en lugar de sistemas que simplemente reflejen nuestros defectos actuales. Posiciona este enfoque como una evolución necesaria más allá de las limitaciones del RLHF actual y de los marcos de alineación pluralista.