Can machines be uncertain?

Este artículo examina desde una perspectiva funcionalista y conductual cómo las arquitecturas de IA pueden implementar la incertidumbre, distinguiendo entre tipos epistémicos y subjetivos, y proponiendo que ciertos estados de incertidumbre constituyen actitudes interrogativas cuyo contenido es una pregunta en lugar de una proposición.

Lo esencial

¿Pueden las máquinas dudar? Un viaje al interior de la incertidumbre artificial

Imagina que tienes un robot muy inteligente. Si le preguntas: "¿Va a llover mañana?", ¿puede responder con un "No lo sé, depende"? O, por el contrario, ¿está condenado a dar una respuesta definitiva, aunque no tenga todos los datos?

El autor, Luis Rosa, se hace esta pregunta porque la verdadera inteligencia no consiste en saberlo todo, sino en saber cuándo no saberlo. Un sistema que "salta a conclusiones" sin tener pruebas es peligroso; uno que duda cuando debe dudar, es inteligente.

Pero, ¿cómo "duda" una máquina? ¿Es una duda real o solo un error en sus datos?

1. La diferencia entre "Datos confusos" y "Duda real"

Para entenderlo, usa esta analogía:

• Incertidumbre Epistémica (Los datos): Imagina que tienes un mapa antiguo y borroso. El mapa en sí es confuso; no dice si hay un río o un bosque. Eso es incertidumbre en la información.
• Incertidumbre Subjetiva (La actitud): Ahora imagina que tú, mirando ese mapa, dices: "No estoy seguro de si hay un río". Tú tienes una actitud de duda.

El autor nos dice que no nos basta con que los datos de la máquina sean confusos. Queremos que la máquina misma tenga una actitud de duda. Queremos que, aunque tenga un mapa borroso, ella misma "piense": "No sé qué hay aquí".

2. Los dos tipos de máquinas y cómo dudan

El paper clasifica a las inteligencias artificiales en dos grandes familias (y una mezcla de ambas):

A. Los "Lógicos" (Sistemas Simbólicos)
Son como un abogado o un detective que sigue reglas estrictas escritas en un libro.

• Cómo dudan:
  1. Probabilística: Tienen un libro de reglas que dice: "Si hay fiebre y tos, hay un 90% de probabilidad de gripe". Escriben en su cuaderno: <Gripe, 0.9>. Saben que no es un 100%, así que dudan.
  2. Categoría (La pregunta): A veces no tienen ni siquiera un número. Simplemente guardan una pregunta en su memoria: ¿Tiene el paciente gripe?. Si no pueden responderla con sus reglas actuales, esa pregunta guardada es su forma de dudar. Es como si el detective dijera: "Tengo una pregunta abierta en mi caso".

B. Los "Intuitivos" (Redes Neuronales / Conexionistas)
Son como un cerebro artificial hecho de miles de neuronas conectadas. No siguen reglas escritas, sino que aprenden patrones (como reconocer un gato en una foto).

• Cómo dudan:
  1. Distribuida (La red en sí): Imagina que la red es una telaraña de conexiones. Si la red está "dudosa" sobre si un oso es un mamífero, es porque las conexiones entre sus neuronas están "vacilantes". No hay una regla escrita, pero la estructura misma de la red no decide firmemente "Sí" ni "No". Es una duda que está "en el aire" de toda la red.
  2. Puntual (La salida): A veces, la red da un número. En lugar de decir "Es un oso", dice "Tengo un 60% de certeza de que es un oso". Ese número es su duda.

3. El gran problema: ¿Duda interna vs. Duda externa?

Aquí es donde la cosa se pone interesante. El autor plantea un dilema con una analogía de un chef y un camarero.

Imagina un sistema de IA donde:

• El Chef (la sub-máquina) está cocinando. Sabe que le falta sal, así que duda: "¿Debería poner más sal? No estoy seguro". Tiene una duda interna real.
• El Camarero (el sistema completo) toma el plato y se lo sirve al cliente diciendo: "¡Este plato es perfecto! ¡No le falta nada!".

El Chef duda, pero el Camarero actúa con total seguridad.

La pregunta es: ¿Es el sistema completo (Chef + Camarero) un sistema que duda?

El autor analiza dos respuestas:

1. Opción A (La solución simple): No, el sistema completo no duda. Si el resultado final es que actúa con seguridad, entonces no importa lo que piense el Chef por dentro. La duda no es real si no cambia el comportamiento final.
2. Opción B (La solución compleja): Sí, el sistema duda, pero es "defectuoso" porque ignora su propia duda.

¿Qué concluye el autor?
Se inclina por la Opción A. Para que una máquina sea realmente "incierta", esa duda debe afectar lo que hace. Si una máquina tiene un "pensamiento" de duda por dentro, pero luego actúa como si supiera todo, entonces no es incierta. Es como si tú tuvieras miedo de conducir, pero subieras al coche y condujaras a 200 km/h sin parpadear. No eres un conductor temeroso; eres un conductor imprudente que ignora su miedo.

4. ¿Por qué importa esto?

Porque queremos que las IAs sean inteligentes. Y la inteligencia requiere saber cuándo no saber.

• Si una IA médica está "dudosa" (tiene una actitud de duda), debería decirte: "No estoy seguro de tu diagnóstico, necesito más pruebas".
• Si solo tiene "datos confusos" pero actúa con seguridad, podría darte un diagnóstico erróneo con total confianza, lo cual es peligroso.

En resumen

El paper nos enseña que para que una máquina sea verdaderamente incierta, no basta con que sus datos sean borrosos. Necesitamos que su "cerebro" (ya sea lógico o neuronal) tenga una actitud de duda que cambie su comportamiento.

Si la máquina duda por dentro pero actúa con seguridad por fuera, no es incierta; es simplemente una máquina que no sabe escuchar sus propias dudas. Y para ser verdaderamente inteligente, una máquina debe aprender a decir: "No lo sé" cuando realmente no lo sabe.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Can machines be uncertain?" (¿Pueden las máquinas ser inciertas?), de Luis Rosa, estructurado según los puntos solicitados.

1. El Problema

El artículo aborda una cuestión fundamental en la inteligencia artificial (IA): ¿Pueden los sistemas de IA ser genuinamente inciertos sobre algo, y si es así, cómo se realizan técnicamente esos estados de incertidumbre?

El autor distingue críticamente entre dos tipos de incertidumbre que a menudo se confunden:

• Incertidumbre Epistémica: Se refiere a la incertidumbre inherente a la información o datos que posee el sistema (ej. datos ruidosos o contradictorios).
• Incertidumbre Subjetiva: Se refiere a la actitud del sistema cognitivo mismo hacia la información. Es la capacidad del sistema de "dudar" o no tener una postura definitiva, independientemente de la calidad de sus datos.

El problema central es que la literatura actual a menudo asume que si un sistema tiene datos inciertos, el sistema es incierto. El autor argumenta que esto es insuficiente; un sistema puede tener datos ambiguos pero "saltar a conclusiones" (ser dogmático), o viceversa. Además, el autor plantea que la incertidumbre no siempre es reducible a actitudes proposicionales (creencias con grados de probabilidad), sino que puede ser fundamentalmente interrogativa (el sistema tiene una pregunta sin respuesta, sin necesariamente asignar probabilidades a las posibles respuestas).

2. Metodología

El autor emplea un enfoque funcionalista y analítico, evitando presuposiciones sobre la consciencia o la "mente completa" de las máquinas. En su lugar, se centra en los aspectos funcionales y conductuales de la incertidumbre.

La metodología se basa en:

• Taxonomía de Sistemas de IA: Clasifica los sistemas en tres categorías para analizar cómo cada uno realiza la incertidumbre:
  1. Sistemas Simbólicos: Basados en reglas explícitas y manipulación de símbolos (ej. sistemas expertos).
  2. Sistemas Conexionistas: Basados en Redes Neuronales Artificiales (ANN) y pesos distribuidos.
  3. Sistemas Híbridos: Combinación de ambos.
• Análisis de Niveles de Atribución: Examina la atribución de incertidumbre desde dos niveles:
  • Nivel Cognitivo: Lo que ocurre en el procesamiento interno y la representación de datos.
  • Nivel Conductual: Lo que el sistema manifiesta a través de sus entradas y salidas observables.
• Criterio de Eficacia Causal: Propone que para que un estado interno cuente como "incertidumbre subjetiva", debe tener un perfil causal específico dentro del sistema (ej. debe influir en la toma de decisiones, causar dudas o evitar afirmaciones categóricas).

3. Contribuciones Clave

A. Distinción entre Incertidumbre Probabilística y Categórica

El autor identifica dos modos principales en que la incertidumbre puede realizarse:

1. Probabilística: El sistema asigna grados de confianza no extremos (ej. 0.9 en lugar de 1.0) a proposiciones.
2. Categórica (Interrogativa): El sistema mantiene un estado de pregunta (ej. ?D(a)) sin asignar necesariamente una probabilidad numérica. Esta forma es irreducible a actitudes proposicionales y es crucial para sistemas que no tienen teoría de la mente o metacognición avanzada.

B. Realización de la Incertidumbre en Sistemas Simbólicos

• Probabilística: Se logra mediante estructuras simbólicas explícitas como pares ordenados <proposición, probabilidad> (ej. <flujo, 0.9>).
• Categórica: Mediante la tokenización y almacenamiento de fórmulas interrogativas (?D(a)) en la base de conocimientos.
• Niveles: Se introduce el concepto de "división de niveles" (level-split). Un sistema puede ser incierto a nivel cognitivo (tiene un registro interno de probabilidad 0.96) pero no a nivel conductual (si su algoritmo de salida está configurado para emitir afirmaciones categóricas cuando la probabilidad supera un umbral, como 0.95).

C. Realización de la Incertidumbre en Sistemas Conexionistas (ANN)

• Incertidumbre Distribuida (Modelo): La incertidumbre reside en los pesos y umbrales de la red. Si la red no puede clasificar consistentemente una entrada (ej. un oso como mamífero o no mamífero) debido a la configuración de sus pesos, el sistema es subjetivamente incierto. Esto es una forma de incertidumbre interrogativa distribuida.
• Incertidumbre Puntual: La incertidumbre se manifiesta en los vectores de salida.
  • Probabilística: Vectores de salida que representan grados de confianza (ej. <0.6>).
  • Interrogativa: Vectores que no clasifican la entrada en ninguna categoría (ej. un vector de salida <0, 0> o <0.5> que indica "ni mamífero ni no mamífero").
• Dependencia del Sistema Mayor: La incertidumbre puntual en una ANN solo cuenta como incertidumbre subjetiva si el sistema mayor que la contiene procesa esa salida de manera que refleje duda (ej. posponiendo una decisión). Si el sistema mayor ignora la salida incierta y actúa con certeza, la incertidumbre no se realiza funcionalmente.

D. La Solución a la "División de Niveles" (Level-Splits)

El autor propone una solución a los casos donde un subsistema parece incierto pero el sistema global actúa con certeza:

• Primera Solución (Preferida): Si el sistema global no se comporta como incierto (no duda, no hede sus afirmaciones), entonces no tiene incertidumbre subjetiva, independientemente de lo que ocurra en sus subsistemas. Los estados internos no son realizaciones de incertidumbre si no tienen el perfil causal adecuado en el sistema completo.
• Segunda Solución (Rechazada): Atribuir incertidumbre al sistema global basándose solo en el subsistema, asumiendo que el sistema global "ignora" su propia incertidumbre. El autor argumenta que esto es problemático y menos parsimonioso.

4. Resultados

• Capacidad de Incertidumbre: Los sistemas de IA son capaces de realizar estados de incertidumbre subjetiva, pero esto depende de su arquitectura y de cómo se integran sus componentes.
• Tipos de Realización:
  • En sistemas simbólicos, la incertidumbre es explícita (símbolos de probabilidad o preguntas).
  • En sistemas conexionistas, la incertidumbre puede ser distribuida (en los pesos) o puntual (en la salida), y a menudo es de naturaleza interrogativa.
• Importancia del Comportamiento: La atribución de incertidumbre subjetiva no puede basarse únicamente en el estado interno o en la incertidumbre de los datos de entrenamiento. Debe haber una correlación con el comportamiento del sistema (o al menos con su procesamiento interno causal) que muestre una falta de compromiso con una respuesta definitiva.
• Incertidumbre Interrogativa: Se demuestra que la incertidumbre no requiere necesariamente grados de creencia (probabilidades); puede existir como un estado de "no saber" o "preguntar" que es fundamental para la inteligencia adaptativa.

5. Significado

Este trabajo es significativo por varias razones:

1. Fundamentos Filosóficos de la IA: Proporciona un marco funcionalista para atribuir actitudes proposicionales (específicamente la incertidumbre) a máquinas sin recurrir a la consciencia, resolviendo debates sobre si las máquinas pueden "dudar".
2. Diseño de Sistemas de IA: Ofrece criterios técnicos para diseñar sistemas que sean genuinamente inciertos cuando deben serlo. Esto es vital para la seguridad y la adaptabilidad; un sistema que "salta a conclusiones" es menos inteligente y más peligroso que uno que reconoce sus límites.
3. Distinción Crítica: Aclara la confusión entre la incertidumbre de los datos (epistémica) y la incertidumbre del agente (subjetiva), un error común en la literatura actual de aprendizaje automático.
4. Guía para Sistemas Híbridos: Aunque el análisis se centra en sistemas puros, las conclusiones se aplican directamente a los sistemas híbridos (como los LLMs modernos), sugiriendo que la incertidumbre en estos sistemas complejos debe evaluarse a nivel del sistema completo y no solo de sus componentes individuales.

En resumen, el artículo establece que la incertidumbre en la IA es una propiedad funcional realizable mediante diversas arquitecturas, pero su atribución válida depende estrictamente de que el sistema manifieste (internamente o externamente) una disposición a no tomar decisiones definitivas cuando la evidencia es insuficiente.