Resumen Técnico: Conjuntos Conformales Concisos y Lógicamente Consistentes para Modelos Neuro-Simbólicos Basados en Conceptos

Declaración del Problema

Los Modelos Neuro-Simbólicos Basados en Conceptos (NeSy-CBM) integran redes neuronales para la extracción de conceptos con razonamiento simbólico para la inferencia de tareas, con el objetivo de producir sistemas de IA fiables para aplicaciones de alto riesgo. Sin embargo, estos modelos a menudo sufren de sobreconfianza y mala calibración, lo que dificulta que las partes interesadas evalúen la fiabilidad de sus predicciones. Además, incluso cuando la incertidumbre se cuantifica, las probabilidades resultantes pueden ser poco intuitivas para los usuarios finales.

Los enfoques existentes para la cuantificación de la incertidumbre en los NeSy-CBM a menudo fallan en satisfacer simultáneamente tres desideratos críticos:

1. Consistencia: Los conceptos y etiquetas predichos deben ser lógicamente consistentes con el conocimiento previo especificado por el usuario ($K$).
2. Cobertura: Los conjuntos de predicción deben proporcionar garantías de cobertura marginal libres de distribución y de muestra finita tanto para conceptos como para etiquetas.
3. Concisión: Los conjuntos de predicción deben ser lo más pequeños posible para seguir siendo interpretables y útiles operativamente.

Las estrategias actuales de predicción conforme (CP) "unilaterales" (por ejemplo, aplicar CP solo a etiquetas o solo a conceptos) o los métodos de revisión asimétrica no cumplen con los tres criterios, lo que a menudo resulta en conjuntos que son inconsistentes, carecen de garantías de cobertura en un lado o son prohibitivamente grandes.

Metodología: COCOCO

Los autores introducen COCOCO (Conformalidad, Consistencia, Concisión), un marco post-hoc diseñado para transformar cualquier NeSy-CBM entrenado en un predictor conforme que satisfaga los tres desideratos.

Mecanismo Central

COCOCO opera en dos etapas:

1. Conformalización Conjunta: Construye independientemente un conjunto de predicción conforme para etiquetas ($\Upsilon_\alpha(x)$) y un conjunto de predicción conforme para conceptos ($\Gamma_\beta(x)$) utilizando técnicas estándar de CP. Para los conceptos, aprovecha la independencia condicional de los extractores de conceptos para construir un conjunto producto, o utiliza valores-e para evitar correcciones de Bonferroni y controlar el tamaño del conjunto.
2. Revisión Deducción-Abducción: El marco aplica un único paso de revisión conjunta para reconciliar los dos conjuntos. Este paso implica:
   • Deducción: Filtrar el conjunto de etiquetas para retener solo las etiquetas implicadas por el conjunto de conceptos ($\Upsilon_{rev} = \Upsilon_\alpha \cap g^\dagger(\Gamma_\beta)$).
   • Abducción: Filtrar el conjunto de conceptos para retener solo los conceptos que implican al menos una etiqueta en el conjunto de etiquetas ($\Gamma_{rev} = \Gamma_\beta \cap g^{-\dagger}(\Upsilon_\alpha)$).

Garantías Teóricas

• Punto Fijo en un Paso: Los autores demuestran que una sola aplicación de este operador de revisión conjunta es suficiente para alcanzar un punto fijo. Iterar el proceso es innecesario, lo que garantiza la eficiencia computacional.
• Optimalidad: El par resultante $(\Gamma_{rev}, \Upsilon_{rev})$ es el subconjunto más grande posible de los conjuntos originales que mantiene la consistencia lógica mutua.
• Cobertura bajo Conocimiento Imperfecto: El marco conserva garantías de cobertura libres de distribución. En casos donde la capa de inferencia es imperfecta (por ejemplo, debido a conocimiento incompleto o atajos de razonamiento), el límite inferior de la cobertura se degrada linealmente en función de la solidez de la capa de inferencia ($\delta_{ab}$ y $\delta_{de}$).
• Presupuestos de Tamaño Especificados por el Usuario: Al integrar predicciones conformes-e (utilizando valores-e en lugar de cuantiles), COCOCO permite a los usuarios especificar tamaños máximos de conjuntos (presupuestos) mientras seleccionan adaptativamente los niveles de cobertura incorrecta ($\tilde{\alpha}, \tilde{\beta}$) para mantener garantías de cobertura en expectativa. Este enfoque evita la degradación de las garantías a medida que aumenta el número de conceptos.

Contribuciones Clave

1. Formalización de Desideratos: El artículo define y formaliza la consistencia, la cobertura y la concisión como las condiciones necesarias para los métodos conformes NeSy.
2. Marco COCOCO: Un marco post-hoc novedoso que conformaliza conjuntamente conceptos y etiquetas y los reconcilia mediante un único paso de deducción-abducción.
3. Pruebas Teóricas:
   • Prueba de que COCOCO satisface los tres desideratos por construcción.
   • Prueba de que el paso de revisión alcanza un punto fijo en una iteración.
   • Derivación de límites de cobertura que tienen en cuenta el conocimiento imperfecto y las probabilidades de fallo conjunto.
4. Control de Tamaño: Demostración de cómo los valores-e permiten presupuestos de tamaño especificados por el usuario sin comprometer las garantías de cobertura.
5. Evaluación Empírica Exhaustiva: Evaluación en 8 conjuntos de datos (incluyendo imágenes médicas, texto y clasificación de imágenes) utilizando dos arquitecturas NeSy de última generación (DeepProbLog y Redes de Tensores Lógicos).

Resultados Experimentales

Los experimentos en 8 conjuntos de datos (CHX, CEB, RIV10, variantes de MN-Add, CIF10) demuestran que COCOCO supera a las líneas base naturales y al competidor más fuerte (RPB):

• Consistencia: COCOCO logra 1.00 de consistencia de conceptos y etiquetas en todos los conjuntos de datos. En contraste, competidores como RPB a menudo exhiben inconsistencia significativa en el lado de los conceptos (por ejemplo, cayendo a 0.12 en el conjunto de datos MN-EO).
• Concisión: COCOCO reduce significativamente los tamaños de los conjuntos de predicción en comparación con las líneas base. Por ejemplo, en el conjunto de datos CEB, redujo el tamaño del conjunto de conceptos de 75.06 (RPB) a 53.49, y en MN-EO, redujo el tamaño de 100.00 (RPB) a 12.13, manteniendo la consistencia total.
• Cobertura: Aunque COCOCO intercambia una pequeña cantidad de cobertura (típicamente 7–10 puntos porcentuales más baja que RPB en el lado de los conceptos) para garantizar la consistencia y la concisión, mantiene una alta cobertura de etiquetas (a menudo $\ge 0.87$) y cobertura de conceptos ($\ge 0.83$) en el objetivo nominal de 0.9.
• Robustez: El método se desempeña de manera robusta incluso bajo conocimiento incompleto (RIV10) y atajos de razonamiento (MN-EO), donde los límites teóricos predicen correctamente la degradación de la cobertura.
• Tiempo de Ejecución: La sobrecarga computacional de COCOCO es modesta (aproximadamente 1.2x a 1.6x el tiempo de ejecución de la línea base), ya que el paso de revisión requiere solo un solo pase de cálculo de imágenes abductivo y deductivo.

Significado y Afirmaciones

El artículo afirma que COCOCO es el primer método que explota simultáneamente el conocimiento simbólico para reducir los conjuntos de predicción conforme y hacer cumplir la consistencia entre etiquetas y conceptos, manteniendo al mismo tiempo una cobertura libre de distribución.

Los autores posicionan a COCOCO como un paso crítico hacia la adecuación de los NeSy-CBM para sistemas de apoyo a la decisión en dominios de alto riesgo (por ejemplo, diagnóstico médico), donde las partes interesadas requieren no solo una predicción, sino un conjunto de alternativas plausibles y lógicamente consistentes con garantías estadísticas rigurosas. El marco aborda la naturaleza de "caja negra" de la incertidumbre en los modelos NeSy al proporcionar conjuntos interpretables que respetan las restricciones del dominio, mejorando así la confianza y la fiabilidad sin requerir el reentrenamiento del modelo neuro-simbólico subyacente.