Conformal Prediction Sets for Instance Segmentation

Resumen Técnico: Conjuntos de Predicción Conforme para Segmentación de Instancias

Planteamiento del Problema
Los modelos actuales de segmentación de instancias logran un alto rendimiento promedio, pero carecen de una cuantificación de la incertidumbre con fundamentos teóricos. Sus salidas, como los logits o las puntuaciones de confianza, suelen estar descalibradas y no ofrecen la garantía de que una máscara predicha sea cercana a la verdad de campo (ground truth). Las métricas de incertidumbre existentes (por ejemplo, las probabilidades de los bordes) están frecuentemente descalibradas y son difíciles de interpretar. Además, los enfoques recientes de predicción conforme para la segmentación se ven limitados por la modificación de una única máscara predicha por el modelo (por ejemplo, mediante dilatación o expansión de bordes). Estos métodos capturan la incertidumbre local de los bordes, pero no logran abordar la incertidumbre estructural: la ambigüedad sobre si regiones adyacentes deben tratarse como un solo objeto o dividirse en múltiples objetos. Esta limitación es crítica en aplicaciones del mundo real donde puede no existir un único ajuste de parámetros "óptimo" para todas las consultas.

Metodología
Los autores proponen un algoritmo de predicción conforme que genera conjuntos de confianza adaptativos de predicciones de instancias para una imagen dada y una consulta de coordenada de píxel. El método opera bajo el siguiente marco:

1. Configuración: La entrada consiste en una imagen $I$ y un punto de consulta $(z_1, z_2)$. El objetivo es predecir una máscara binaria $Y$ para la instancia del objeto que contiene la consulta. El método utiliza un modelo de segmentación de instancias $f$ que acepta un parámetro ajustable $T$ (por ejemplo, umbrales de watershed, umbrales de logits o índices de máscara) para producir predicciones diversas $\hat{Y} = f(X, T)$.
2. Calibración: Utilizando un conjunto de datos de calibración de $n$ pares imagen-consulta con máscaras de verdad de campo, el algoritmo evalúa la Intersección sobre Unión (IoU) de las predicciones generadas por una cuadrícula de $k$ valores de parámetros $\{t_1, \dots, t_k\}$.
3. Construcción del Conjunto (Cobertura de Conjuntos): Para un umbral de IoU objetivo $\tau$ y una tasa de error $\alpha$, el algoritmo identifica un subconjunto mínimo de índices de parámetros $J_{\alpha, \tau}$ tal que la unión de las predicciones exitosas (aquellas con IoU $> \tau$) cubra al menos $(1-\alpha)n$ ejemplos de calibración. Este paso se formula como un problema de Cobertura de Conjuntos (Set Cover), resuelto mediante un algoritmo voraz (greedy) seguido de un refinamiento por fuerza bruta para minimizar el tamaño del conjunto.
4. Predicción: Para una nueva entrada de prueba, el algoritmo genera predicciones utilizando el subconjunto de parámetros seleccionado $J_{\alpha, \tau}$, formando el conjunto de confianza inicial $C_{\alpha, \tau}(X_{test})$.
5. Refinamiento Adaptativo (Eliminación de Duplicados): Para evitar la redundancia, el algoritmo elimina máscaras casi duplicadas (definidas por un umbral de IoU secundario $\eta$) utilizando un enfoque de Conjunto Dominante (Dominating Set). Esto resulta en un tamaño de conjunto adaptativo que varía según la dificultad de la consulta.
6. Garantías: El método proporciona garantías asintóticas de que, con una probabilidad $\ge 1-\alpha$, el conjunto de confianza final contiene al menos una máscara con un IoU superior a un umbral recalibrado $\tilde{\theta}$. También se proporciona una versión de muestra finita utilizando división de muestras (sample splitting) y Control de Riesgo Conforme (CRC).

Contribuciones Clave

1. Formulación Novedosa: El artículo introduce la primera formulación de predicción conforme para la segmentación de instancias que captura la incertidumbre estructural. A diferencia de los métodos anteriores que perturban una sola máscara, este enfoque construye conjuntos de predicción sobre múltiples configuraciones del modelo.
2. Factibilidad en Entornos No Monótonos: El método no requiere una función de pérdida monótona (un requisito para el Control de Riesgo Conforme estándar y los marcos Learn Then Test). Esto permite el uso de funciones de pérdida basadas en IoU, que son inherentemente no monótonas con respecto a los parámetros de segmentación.
3. Conjuntos de Confianza Adaptativos: El algoritmo produce conjuntos de predicción que varían en tamaño según la dificultad de la consulta, eliminando duplicados para proporcionar una representación más informativa de la incertidumbre sin abrumar al usuario.
4. Garantías Teóricas: El trabajo proporciona garantías teóricas tanto asintóticas como de muestra finita para la cobertura, asegurando que al menos una predicción en el conjunto alcance un IoU elevado con la verdad de campo.

Resultados Experimentales
El algoritmo fue evaluado en tres tareas distintas: delimitación de campos agrícolas, segmentación de células y detección de vehículos.

• Cobertura: El método logró una cobertura empírica cercana al objetivo $(1-\alpha)$, superando significativamente a los modelos de referencia (baselines). Por ejemplo, en la detección de vehículos, la cobertura mejoró del 66.1% (el baseline de parámetro óptimo ingenuo) al 84.3%.
• Comparación con Baselines: El baseline de "parámetro óptimo ingenuo" (que selecciona un único parámetro global) y el baseline de "dilatación morfológica" (que expande una sola máscara) fallaron al capturar la ambigüedad estructural. El método propuesto logró recuperar casos donde el baseline había sobre-segmentado o sub-segmentado los objetos.
• Adaptabilidad: El tamaño de los conjuntos de predicción se adaptó a la dificultad de la consulta. En escenarios ambiguos (por ejemplo, bordes de campos), los conjuntos se expandieron para incluir múltiples máscaras plausibles (hasta 5), mientras que en casos claros (por ejemplo, células distintas), los conjuntos se redujeron a un tamaño de uno o dos.
• Umbrales: El umbral de IoU recalibrado $\tilde{\theta}$ se mantuvo cerca o por encima del $\tau$ original, lo que indica que la eliminación de duplicados no degradó significativamente la garantía de cobertura.

Significancia y Reivindicaciones
Los autores afirman que este trabajo es el primero en capturar la incertidumbre estructural en la segmentación de instancias mediante la construcción de conjuntos de confianza de diversas predicciones de segmentación. La significancia radica en el cambio de paradigma de proporcionar una única predicción "óptima" (que puede ser estructuralmente incorrecta) a proporcionar un conjunto de hipótesis diversas y demostrables. Este enfoque reconoce que en imágenes ambiguas (por ejemplo, campos de bajo contraste, células superpuestas), una sola máscara suele ser insuficiente. El método formaliza la fiabilidad de los modelos de segmentación al cuantificar explícitamente la probabilidad de que el objeto real esté representado dentro del conjunto.

El artículo señala modestamente que la predicción conforme no puede superar las limitaciones inherentes del modelo de segmentación subyacente; si el modelo base no puede alcanzar cierto IoU, el conjunto de confianza no puede garantizarlo. Además, el método depende de la existencia de un parámetro ajustable que induzca una diversidad significativa. Los autores identifican como trabajo futuro el desarrollo de estrategias de entrenamiento que incentiven explícitamente la diversidad de las máscaras y la creación de aproximaciones escalables para los pasos de optimización combinatoria (cobertura de conjuntos y eliminación de duplicados) para manejar espacios de parámetros más grandes.