💻 computer science

Calibrate What You SHIP: Post-Selection Risk Control for Verifier-Guided Text-to-Image Generation

Este artículo presenta SHIP, un método que calibra los umbrales de liberación a nivel de política en lugar de a nivel de candidato para garantizar un control de riesgo válido para sistemas de texto a imagen guiados por verificadores que emplean búsqueda en tiempo de prueba, reduciendo así significativamente el riesgo de las salidas liberadas mientras mantiene la validez de muestra finita.

Autores originales: Xuanhua Yin, Shunqi Mao, Wei Guo, Chuanzhi Xu, Weidong Cai

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xuanhua Yin, Shunqi Mao, Wei Guo, Chuanzhi Xu, Weidong Cai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Las computadoras modernas han aprendido a pintar imágenes a partir de palabras. Escribes una oración como "un hongo de piedra detrás de un elefante", y la máquina genera una imagen que intenta coincidir con esa descripción. Durante mucho tiempo, estos sistemas funcionaban creando una sola imagen y mostrándotela. Pero a medida que la tecnología ha mejorado, el proceso se ha vuelto más parecido a una búsqueda. En lugar de hacer una sola imagen y detenerse, la computadora podría generar docenas de variaciones, cotejarlas con las instrucciones, descartar las malas e incluso, tal vez, reescribir las instrucciones para intentarlo de nuevo. Es una danza compleja de creación y selección, guiada por un juez digital que decide qué imágenes son lo suficientemente buenas para mostrar.

El problema es que hemos estado midiendo la seguridad de estos sistemas de la manera incorrecta. Imagina una fábrica que produce miles de piezas, pero solo envía las que pasan un control de calidad. Si pruebas la calidad de cada una de las piezas que salen de la línea, obtienes una idea de qué tan buena es la fábrica. Pero si la fábrica tiene una máquina que elige solo las piezas con mejor apariencia para enviar, el montón de piezas que realmente recibes es diferente del montón que se fabricó. La forma estándar de probar estos generadores de imágenes ha sido observar las imágenes individuales que la computadora crea, verificar si son buenas y establecer una regla para lo que se enviará. Los investigadores en este estudio encontraron que este enfoque es defectuoso. Debido a que la computadora está buscando y eligiendo activamente, la imagen final que ves no es solo una muestra aleatoria; es el resultado de un proceso de decisión específico. Una regla que funciona para una sola imagen no necesariamente funciona para la imagen final que el sistema decide liberar.

Para resolver esto, un equipo de investigadores de la Universidad de Sídney introdujo un nuevo método llamado SHIP. En lugar de probar las imágenes individuales que la computadora crea, probaron todo el proceso de toma de decisiones. Tomaron un conjunto de instrucciones —solicitudes de imágenes que el sistema nunca había visto antes— y ejecutaron el sistema completo con ellas. Esto significó dejar que la computadora generara sus candidatas, permitir que su juez interno eligiera la mejor y luego verificar si ese resultado final era realmente bueno. Utilizaron un segundo juez independiente para evaluar la imagen final, asegurándose de que el sistema no estuviera simplemente engañando a su propio verificador interno. Al ejecutar esta simulación completa muchas veces, pudieron encontrar la configuración perfecta para las reglas de seguridad del sistema. Buscaron la regla más permisiva que aún mantuviera el riesgo de mostrar una imagen mala por debajo de un límite específico.

Los resultados mostraron que la vieja forma de establecer estas reglas era a menudo demasiado optimista. Cuando los investigadores aplicaron su nuevo método a un generador de imágenes popular llamado FLUX, encontraron una diferencia significativa. Usando el método antiguo, que observaba todas las imágenes candidatas juntas, el sistema liberaría imágenes con un riesgo de falla de alrededor del 31 por ciento. Cuando usaron su nuevo método para calibrar todo el proceso, pudieron reducir ese riesgo a solo un 16 por ciento mientras seguían mostrando imágenes al usuario. Esto no significó que la computadora se volviera mejor dibujando; significó que el sistema se volvió mucho mejor en saber cuándo detenerse y cuándo mostrar un resultado. Los investigadores encontraron que diferentes estrategias de búsqueda —algunas que intentan muchas opciones rápidamente, otras que refinan unas pocas opciones lentamente— creaban diferentes compensaciones. Algunas estrategias eran más rápidas, mientras que otras cubrían más tipos de solicitudes, pero todas ellas necesitaban este nuevo tipo de calibración para ser confiables.

El estudio también reveló que la complejidad de la solicitud importa. Cuando una instrucción pedía muchos detalles específicos, como contar objetos o colocarlos en relaciones precisas, el sistema tenía más dificultades. Los investigadores señalaron que, si bien el riesgo promedio podía controlarse, algunas solicitudes difíciles todavía conllevaban una alta probabilidad de falla, lo que significaba que el sistema podría necesitar negarse a responderlas por completo para mantenerse seguro. Esta es una distinción crucial: el objetivo no es forzar a la computadora a responder todas las preguntas, sino asegurar que, cuando responda, la respuesta sea confiable. El equipo probó su método en diferentes tipos de generadores de imágenes y diferentes estrategias de búsqueda, y en cada caso, verificar el resultado final en lugar de los pasos intermedios proporcionó una imagen más clara y segura de lo que el sistema realmente podía hacer.

Este trabajo cambia nuestra forma de pensar sobre la confiabilidad en la inteligencia artificial. Sugiere que no podemos simplemente probar la salida bruta de una máquina y asumir que el producto final será seguro. Debemos probar todo el proceso, incluyendo las elecciones que la máquina realiza en el camino. Así como un piloto no solo revisa el motor antes de un vuelo, sino que también revisa la navegación y el clima, debemos revisar todo el trayecto del generador de imágenes. Al calibrar la decisión final en lugar de los pasos individuales, podemos construir sistemas que no solo sean poderosos, sino también dignos de confianza, sabiendo exactamente con qué frecuencia tendrán éxito y cuándo deben admitir que no pueden realizar el trabajo.

Resumen Técnico: Calibrar lo que se ENTREGA (Calibrate What You SHIP)

Planteamiento del Problema: El Desajuste de Calibración Candidato-a-Política

Los sistemas modernos de texto-a-imagen (T2I) dependen cada vez más de la búsqueda en tiempo de prueba para seleccionar, refinar o detener múltiples candidatos de generación. Estos sistemas utilizan la inferencia guiada por verificadores para explorar diferentes semillas de ruido, clasificar borradores, reescribir prompts o editar imágenes antes de liberar un resultado final.

El problema central identificado es un desajuste de calibración candidato-a-política. Los métodos tradicionales de fiabilidad calibran los umbrales de los verificadores en imágenes candidatas individuales e independientes. Sin embargo, en el despliegue, el sistema no libera un candidato genérico que "pasa"; libera la imagen específica seleccionada por una política compleja que involucra mecanismos de búsqueda, selección y detención.

Este proceso de búsqueda altera la distribución de los resultados liberados de dos maneras:

Reponderación de Prompts (Prompt Reweighting): La búsqueda cambia qué prompts reciben un resultado (por ejemplo, la detención secuencial acepta un prompt si cualquier intento pasa, sesgando la distribución de salida hacia prompts con mayores probabilidades de éxito).
Selección Intra-Prompt: La búsqueda cambia qué imagen se libera para un determinado prompt (por ejemplo, Best-of-N o el refinamiento selecciona candidatos basados en verificadores online imperfectos, alterando la distribución de pérdida condicional).

Consecuentemente, controlar el riesgo de los candidatos individuales (calibración a nivel de candidato) no garantiza el control sobre el riesgo de la salida final liberada (riesgo a nivel de política).

Metodología: SHIP (Calibración de Políticas de Inferencia mediante Hold-out sensible a la Selección)

Para abordar este desajuste, los autores introducen SHIP, un marco que calibra la política de inferencia completa en lugar de los candidatos individuales.

Mecanismo Central

SHIP alinea la unidad de calibración con la política de liberación. En lugar de evaluar candidatos agrupados, trata cada observación intercambiable como un prompt de reserva (held-out) emparejado con un despliegue de política completo.

Replay y Evaluación: SHIP ejecuta o replica exactamente la política desplegada completa en un conjunto de prompts de reserva.
Juicio Independiente: Para la imagen realmente liberada por la política, SHIP la evalúa utilizando un juez objetivo independiente (un VLM separado), distinto del selector online utilizado durante la generación.
Selección de Umbral: SHIP selecciona el umbral más permisivo $\tau^*$ tal que el límite superior de confianza (UCB) del riesgo de la salida liberada satisfaga un presupuesto de riesgo prescrito $\alpha$ .

Verificación Atómica y Métricas de Riesgo

Para localizar fallos, los prompts se descomponen en requisitos atómicos (existencia, conteo, atributos, relaciones espaciales, acciones).

Riesgo del Selector ( $s$ ): Calculado usando el VLM selector online (por ejemplo, Qwen2.5-VL) mediante una media geométrica Soft-TIFA de las puntuaciones de los átomos.
Pérdida Objetivo ( $\ell$ ): Calculada usando un VLM objetivo independiente (por ejemplo, Qwen3-VL) de forma offline. La política nunca observa esta pérdida durante la generación.
Métrica de Riesgo: Se utiliza la media geométrica de las puntuaciones de los átomos porque la violación de un solo requisito puede invalidar el seguimiento del prompt.

Validez y Certificación

Validez de Muestra Finita: Para políticas con una cuadrícula de umbrales preespecificada, SHIP utiliza límites de confianza simultáneos (corrección de Bonferroni) para asegurar que el umbral seleccionado satisfaga el presupuesto de riesgo con una probabilidad de $1-\delta$ .
Replicabilidad (Replayability): Para flujos dependientes de umbrales, una única trayectoria almacenada en caché puede replicarse a través de múltiples umbrales. Para políticas dependientes de la historia (como el refinamiento adaptativo), se requieren despliegues completos para cada umbral, lo cual es computacionalmente más costoso pero necesario para una evaluación precisa.

Contribuciones Clave

Caracterización Formal del Desajuste: El artículo descompone el desajuste de calibración candidato-a-política en reponderación de prompts y selección intra-prompt, demostrando matemáticamente que el control de riesgo a nivel de candidato ( $R_{img}$ ) no implica el control de riesgo a nivel de política ( $R_{\pi}$ ).
El Marco SHIP: Introducción de un método que calibra la política de liberación completa en prompts de reserva, seleccionando el umbral óptimo basado en la distribución real de las salidas liberadas.
Validación Empírica: Evaluación exhaustiva a través de diversos procedimientos de inferencia T2I fijos, secuenciales y adaptativos (incluyendo selección de torneo, refinamiento, reescritura de prompts y edición de imágenes) utilizando múltiples modelos (FLUX, Stable Diffusion 3, SDXL) y benchmarks (GenEval2, etc.).

Resultados Experimentales

Los experimentos se realizaron principalmente en GenEval2 utilizando el modelo FLUX con un presupuesto de riesgo objetivo de $\alpha=0.30$ .

Reducción de Riesgo: En GenEval2 con FLUX en $N=16$ , un umbral de candidatos agrupados arrojó un riesgo liberado de 0.310. En contraste, SHIP redujo el riesgo liberado a 0.162 manteniendo una cobertura válida.
Cobertura y Compromisos (Tradeoffs): SHIP recupera puntos operativos factibles que equilibran riesgo, cobertura y cómputo. Por ejemplo, mientras que la detección de Best-of-N cubre más prompts, consume más cómputo. SHIP permite la abstención deliberada para cumplir con presupuestos de riesgo estrictos.
Generalización: El método se transfiere a través de diferentes backbones (SD3.5, SDXL) y tareas (edición de imágenes con FLUX.1-Kontext). En escenarios adaptativos como el refinamiento RAISE, SHIP redujo el riesgo de prueba de 0.244 (candidato agrupado) a 0.208.
Auditoría Humana: La evaluación humana de las salidas liberadas confirmó las mejoras aprendidas por la máquina, mostrando una reducción en la pérdida atómica de 0.112 a 0.076 y en las tasas de fallo estricto de 0.380 a 0.280.
Robustez: A través de 200 divisiones de flujo en caché, el certificado de cuadrícula fija no mostró cruce de objetivo, demostrando validez de muestra finita.

Significado y Reivindicaciones

El artículo afirma que la escalabilidad fiable en el tiempo de inferencia requiere calibrar la distribución de salida inducida por la política desplegada completa, no solo los candidatos previos.

Distinción de Roles: Los autores postulan que la búsqueda determina la frontera de rendimiento alcanzable (calidad, cobertura, costo), mientras que la calibración determina qué puntos en esa frontera pueden liberarse de forma segura bajo una restricción de riesgo.
Alcance Modesto: El artículo reconoce limitaciones:
- La validez depende de una cuadrícula preespecificada, la intercambiabilidad y una pérdida acotada.
- La búsqueda adaptativa dependiente del umbral sigue siendo descriptiva en ciertos contextos, ya que la calibración exacta puede requerir un despliegue completo por cada prompt y umbral.
- El método controla el riesgo promedio, no el riesgo de subgrupos.
- El uso de un VLM de reserva para la definición de la pérdida hace que las auditorías humanas sean corroborativas en lugar de un certificado formal de riesgo humano.
Conclusión: La contribución principal es el análisis específico de T2I del cambio del estimando y la demostración de que la calibración a nivel de política es necesaria para asegurar que las imágenes entregadas realmente a los usuarios cumplan con las restricciones de seguridad y calidad.