Cognitive Digital Twins: Ethical Risks and Governance for AI Systems That Model the Mind

Resumen Técnico: Gemelos Digitales Cognitivos: Riesgos Éticos y Gobernanza para Sistemas de IA que Modelan la Mente

Planteamiento del Problema
A medida que los sistemas de IA evolucionan de meros asistentes a entidades que modelan, simulan y actúan en nombre de los individuos, surge una nueva clase de tecnología: los Gemelos Digitales Cognitivos (GDC o CDTs, por sus siglas en inglés). A diferencia de los gemelos digitales tradicionales que modelan cuerpos físicos o procesos, los GDC son representaciones computacionales dinámicas de la cognición de una persona específica (estados, disposiciones, procesos). El problema central identificado es que los marcos de gobernanza existentes —diseñados para el procesamiento de datos, la toma de decisiones automatizada o los agentes autónomos— no logran abordar los riesgos únicos de los GDC. Estos riesgos no ocurren simplemente en el punto de una decisión final o una acción externa, sino en la etapa anterior donde la afirmación de un modelo sobre la cognición de una persona se vuelve confiable y operativa. Los marcos actuales no regulan adecuadamente la representación, la simulación y la delegación de la cognición misma, lo que conduce a posibles daños como la tergiversación, los cambios en la autoridad epistémica y la creación de "gemelos sombra" sin consentimiento.

Metodología y Marco Analítico
El artículo emplea un análisis conceptual y normativo para definir los GDC y evaluar sus requisitos de gobernanza. No presenta resultados experimentales empíricos, sino que construye un marco teórico para analizar la intersección entre la ciencia cognitiva, la seguridad de la IA y la ética.

Los autores introducen el Marco 5A para caracterizar el poder de los GDC e identificar los deberes de gobernanza:

1. Autoridad (Authority): El alcance de las acciones que el GDC puede autorizar o realizar en nombre de la persona (por ejemplo, sugerir frente a comprometerse con decisiones).
2. Autonomía (Autonomy): El grado en que el GDC puede iniciar acciones o simulaciones de manera proactiva sin instrucción explícita.
3. Acceso y Control (Access and Control): Los derechos de la persona representada para inspeccionar, corregir, configurar, exportar o retirar el GDC y sus datos.
4. Responsabilidad (Accountability): Mecanismos para rastrear daños, identificar las partes responsables (desarrolladores, implementadores, usuarios) y proporcionar reparación.
5. Disponibilidad (Availability): Garantizar el acceso equitativo a las capacidades beneficiosas de los GDC, evitando la concentración del poder de representación entre actores poderosos.

Utilizando este marco, los autores analizan dos escenarios hipotéticos de un futuro cercano: un "paciente simulado" en el cuidado de la salud mental y un "gemelo de productividad" en el lugar de trabajo. Estos casos ilustran cómo los GDC pueden utilizarse para la simulación (predecir respuestas a intervenciones) y la acción por delegación (comunicar o decidir en nombre del usuario).

Contribuciones Clave
El artículo realiza cuatro contribuciones principales:

1. Definición y Distinción: Los autores definen los GDC como representaciones computacionales dinámicas y específicas de una persona, actualizadas mediante datos conductuales, contextuales o fisiológicos. Distinguen a los GDC de sistemas adyacentes (por ejemplo, sistemas de recomendación, fenotipado digital, chatbots de compañía) basándose en la operacionalización de afirmaciones cognitivas dirigidas a la persona. Un sistema se convierte en un GDC cuando modela estados cognitivos específicos (memoria, creencia, vulnerabilidad) para simular, clasificar o actuar como un delegado, en lugar de simplemente optimizar la preferencia o el compromiso del usuario.

2. Identificación de Riesgos Específicos de los GDC: El artículo identifica un conjunto distinto de riesgos derivados de la operacionalización de los modelos cognitivos:

   • Tergiversación y Robustez: Los errores al modelar razones, valores o identidad pueden volverse autorreforzados (por ejemplo, un modelo que predice el desinterés, lo que provoca una conducta clínica que causa el desinterés).
   • Cambios en la Autoridad Epistémica: El locus del conocimiento propio puede desplazarse de la persona al delegado, donde las predicciones del modelo invalidan la experiencia vivida o el autoinforme, creando potencialmente profecías autocumplidas.
   • Gemelos Sombra: La construcción de modelos cognitivos individualizados sin un consentimiento significativo, a menudo para fines de doble uso (por ejemplo, un asegurador que simula el incumplimiento o una plataforma que simula la vulnerabilidad para la manipulación).
   • Simulación Sin Participación: La sustitución de la participación humana real por respuestas simuladas para la toma de decisiones, lo que puede eludir el consentimiento y la consulta democrática.
   • Acción Delegada por Delegación y Brechas de Origen: La difuminación de las líneas entre las acciones realizadas por una persona, para una persona o sobre una persona, creando "brechas de origen" donde los receptores no pueden distinguir entre el respaldo personal y el resultado del delegado.

3. Análisis de la Brecha de Gobernanza: Los autores analizan los marcos existentes (GDPR, Ley de IA de la UE, NIST AI RMF) e identifican brechas específicas:

   • Derechos de Datos frente a Control Cognitivo: El consentimiento para el procesamiento de datos no equivale al consentimiento para el modelado o la simulación cognitiva.
   • Sincronización de Disparadores: Las categorías de riesgo actuales suelen activarse solo después de una decisión automatizada final, perdiendo los daños que ocurren durante la fase de simulación o interpretación.
   • Agente frente a Simulación: La gobernanza para agentes autónomos se centra en la acción externa, ignorando la influencia de simulaciones no agénticas que moldean el comportamiento institucional.
   • Disciplina de la Afirmación Cognitiva: La gestión de riesgos existente carece de protocolos específicos para validar los constructos cognitivos que un sistema afirma modelar.

4. Requisitos de Gobernanza Propuestos: El artículo propone un conjunto de requisitos concretos para los despliegues de GDC de alto riesgo (resumidos en la Tabla 2), que incluyen:

   • Consentimiento por Capas: Permisos distintos para la recolección de datos, el modelado, la simulación y la acción por delegación.
   • Vinculación de Propósito: Mecanismos técnicos y legales para evitar el cambio de uso silencioso de los modelos.
   • Evaluación de Robustez: Pruebas de validez de constructo, calibración, deriva temporal y desempeño por subgrupos.
   • Trazabilidad: Registros de auditoría para la procedencia de los datos, versiones del modelo y la adopción institucional de los resultados del GDC.
   • Etiquetado de Acción por Delegación: Divulgación de cuándo las comunicaciones o decisiones están materialmente moldeadas por un GDC.
   • Contestación y Retiro: Mecanismos para que los usuarios disputen inferencias y retiren modelos obsoletos o inseguros.
   • Revisión Independiente: Revisión proporcional al riesgo para simulaciones institucionales y acciones por delegación de alto impacto.

Resultados y Reivindicaciones
El artículo no presenta datos experimentales, sino que ofrece un argumento estructurado de que los GDCs representan un cambio fundamental en la gobernanza de la IA. El "resultado" es la identificación de una brecha de gobernanza donde la cognición es tratada como un objeto de representación y delegación sin salvaguardas regulatorias específicas. Los autores argumentan que los GDCs requieren gobernanza no solo porque pueden actuar por las personas, sino porque se convierten en infraestructuras a través de las cuales la cognición es representada, simulada, clasificada y operacionalizada.

Significancia
El artículo sostiene que la importancia de los GDCs radica en su capacidad para transformar la forma en que las instituciones conocen e interactúan con las personas. Los riesgos éticos son altos porque los GDCs pueden fragmentar la agencia social, crear "zonas de colapso moral" donde los humanos absorben la culpa por fallos automatizados y permitir la manipulación mediante un modelado cognitivo profundo. Los autores afirman que una gobernanza efectiva debe ir más allá de regular los datos y las decisiones para regular la representación cognitiva misma, asegurando que la delegación de la agencia cognitiva no socave la autonomía, la dignidad o la participación democrática del ser humano. El trabajo sirve como una definición fundacional y una evaluación de riesgos para una clase de tecnología que converge rápidamente desde campos adyacentes como el fenotipado digital, las neuroprótesis y los agentes generativos.