💻 computer science

The QBF Gallery 2023

El informe "The QBF Gallery 2023" documenta el estado del arte en la resolución de fórmulas booleanas cuantificadas mediante la presentación de nuevos solucionadores y un conjunto de benchmarks consolidado, realizando un análisis comparativo de su rendimiento y discutiendo el futuro de la comunidad de investigación en este ámbito.

Autores originales: Simone Heisinger, Luca Pulina, Martina Seidl

Publicado 2026-04-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Simone Heisinger, Luca Pulina, Martina Seidl

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que el mundo de la informática es como una inmensa biblioteca llena de libros de acertijos extremadamente difíciles. Estos acertijos no son simples crucigramas; son problemas de lógica pura que pueden determinar si un chip de computadora funcionará bien, si un robot puede navegar por una ciudad o si un sistema de seguridad es inviolable.

Este documento es el informe oficial de la "Galería QBF 2023", un evento donde los mejores "detectives de lógica" del mundo (llamados solucionadores o solvers) se reúnen para ver quién es el más rápido y astuto resolviendo estos acertijos.

Aquí te explico cómo funciona, usando analogías sencillas:

1. ¿Qué son los acertijos (Fórmulas)?

Imagina que un acertijo normal es una frase como: "Si llueve, me quedo en casa".
Pero en este mundo, los acertijos tienen una capa extra de complejidad: tienen reglas de "para todo" y "para alguno".

Ejemplo simple: "Existe un camino tal que, para cualquier obstáculo que pongas, puedo llegar a la meta".
La analogía: Es como un juego de ajedrez donde tú mueves una pieza (existencial), pero tu oponente (universal) puede mover cualquier pieza que quiera para bloquearte. Tienes que ganar sin importar qué haga el oponente. Estos acertijos son tan difíciles que, si tuvieras que resolverlos uno por uno, tardarías más que la edad del universo. Por eso necesitamos computadoras muy inteligentes.

2. La Competencia: La Galería QBF

La "Galería" es como una Olimpiada de ajedrez, pero en lugar de personas, compiten programas de computadora.

El objetivo: No solo ganar, sino entender cómo piensan estos programas para mejorarlos.
Los participantes: Hay varios tipos de pistas (tracks), como si fueran diferentes disciplinas deportivas:
- Pista Estándar (PCNF): Los acertijos están escritos en un formato muy rígido y ordenado (como una receta de cocina paso a paso).
- Pista Libre (PNCNF): Los acertijos están escritos de forma más natural y flexible, como un cuento, lo cual es más difícil de procesar para las máquinas.
- Pista de Dependencias (DQBF): Aquí las reglas cambian un poco; algunos movimientos dependen de otros de una manera más compleja.
- Pista de "Artesanía" (Crafted): Los organizadores crean acertijos a propósito que son trampas mortales diseñadas para romper a los solucionadores, para ver dónde fallan.

3. Los Herramientas: Solucionadores y Preprocesadores

En la competencia hay dos tipos de "atletas":

Los Solucionadores (Los Detectives): Son los programas que intentan resolver el acertijo. Algunos usan técnicas como "CEGAR" (que es como intentar adivinar la respuesta, ver si falla, y luego ajustar la hipótesis) o "QCDCL" (que es como aprender de cada error para no volver a cometerlo).
- Analogía: Imagina a un detective que tiene un mapa. Algunos detectives (como CAQE) son muy rápidos y resuelven la mayoría de los casos. Otros (como DepQBF) son más lentos pero muy precisos en casos específicos.
Los Preprocesadores (Los Editores): Antes de que el detective empiece a trabajar, un editor revisa el acertijo.
- Analogía: Imagina que tienes un libro de 1000 páginas lleno de palabras innecesarias. El preprocesador es como un editor que borra las páginas vacías, reorganiza los capítulos y deja solo lo esencial. Así, el detective tiene que leer menos y puede resolver el caso más rápido.
- En la competencia, probaron tres editores (Bloqqer, HQSpre, QRATPre+) y descubrieron que no hay un "mejor editor" para todos; depende del tipo de libro. A veces, editar el libro lo hace más fácil; otras veces, el detective prefiere leerlo tal cual.

4. Los Resultados: ¿Quién ganó?

El informe muestra que CAQE (y sus variantes) fue el gran campeón en la pista estándar. Resolvió la mayor cantidad de acertijos.

La sorpresa: Un programa llamado dynQBF resolvió muy pocos acertijos en total, pero ¡fue el único capaz de resolver algunos que nadie más pudo! Es como un corredor que no gana la maratón, pero es el único que puede escalar una montaña vertical.
El aprendizaje: Descubrieron que darles más memoria a las computadoras (como pasar de 8GB a 100GB) ayudó a algunos a resolver más casos, pero a otros no les hizo ninguna diferencia.

5. ¿Por qué importa esto?

Imagina que quieres construir un puente. Antes de poner el primer ladrillo, quieres asegurarte de que no se caerá con viento, lluvia o terremotos.

Estos acertijos (QBF) son la prueba matemática de que el puente no se caerá.
Si los solucionadores son mejores, podemos diseñar chips de computadora más seguros, robots más inteligentes y sistemas de tráfico más eficientes sin tener que construirlos primero y esperar a que fallen.

En resumen

Este documento es el acta de una carrera donde los mejores algoritmos del mundo compitieron para resolver los problemas lógicos más difíciles.

Ganaron: Los que combinaron bien la velocidad con la capacidad de limpiar los problemas antes de resolverlos.
Aprendieron: Que no existe un "solucionador perfecto" para todo; a veces necesitas un editor de texto, a veces un detective rápido, y a veces un especialista en montañas.
El futuro: Ahora tienen un nuevo conjunto de acertijos (una nueva biblioteca) disponible para que los investigadores de todo el mundo sigan entrenando a sus detectores para que, en el futuro, podamos resolver problemas que hoy parecen imposibles.

¡Es como si estuvieran entrenando a la inteligencia artificial para que sea el mejor jugador de ajedrez, pero contra el universo mismo!

1. El Problema

El informe aborda el problema de decisión para Fórmulas Booleanas Cuantificadas (QBF), reconocido como el problema canónico completo para la clase de complejidad PSPACE. A diferencia del problema SAT (que solo maneja variables existenciales), las QBF incluyen cuantificadores universales ( $\forall$ ) y existenciales ( $\exists$ ), lo que las convierte en una herramienta fundamental para la verificación formal, la síntesis y la inteligencia artificial.

El desafío central radica en evaluar y comparar el estado del arte de los solucionadores (solvers) de QBF. La comunidad necesita benchmarks (conjuntos de pruebas) actualizados que no sean ni demasiado fáciles (donde todos los solucionadores triunfan en milisegundos) ni demasiado difíciles (donde todos fallan por tiempo límite), para poder distinguir las fortalezas y debilidades de las diferentes técnicas de resolución.

2. Metodología

El "QBF Gallery 2023" se organizó como un evento virtual y offline, siguiendo la tradición de evaluar sistemas de forma interactiva y colaborativa, a diferencia de las competiciones puramente competitivas. La metodología se estructuró en las siguientes fases:

Categorías (Tracks): Se definieron cinco pistas para cubrir diferentes formatos y problemas:
1. PCNF (Prenex CNF): Fórmulas en forma normal conjuntiva prenex (formato QDIMACS).
2. PNCNF (Prenex Non-CNF): Fórmulas prenex con matrices proposicionales de estructura arbitraria (formato QCIR).
3. DQBF (Dependency QBF): Una generalización de QBF que utiliza cuantificadores Henkin (formato DQDIMACS).
4. Crafted Instances: Instancias generadas desde la complejidad de pruebas para evaluar límites inferiores y superiores de los sistemas.
5. Preprocessor Track: Herramientas para simplificar fórmulas PCNF antes de la resolución.
Selección de Benchmarks: Se recibieron 518 fórmulas en QDIMACS y 418 en QCIR. Se aplicó un filtro estricto: las fórmulas resueltas por todos los solucionadores en menos de un segundo fueron descartadas para asegurar que el conjunto final fuera desafiante. Se creó un nuevo conjunto de benchmarks consolidado y público.
Entorno Computacional: Los experimentos se ejecutaron en un clúster de la Universidad Johannes Kepler (Linz) con nodos AMD EPYC. Se establecieron límites de tiempo de 15 minutos y 8 GB de memoria por tarea. Para las instancias "Crafted", se ejecutaron secuencialmente.
Métricas de Evaluación:
- Número de fórmulas resueltas (SAT/UNSAT).
- PAR-2 Score: Una métrica estándar que suma los tiempos de ejecución de las fórmulas resueltas y penaliza las no resueltas con el doble del tiempo límite (1800 segundos). Un puntaje más bajo es mejor.
- Análisis de Similitud: Uso de coeficientes de correlación de rango de Spearman para visualizar qué tan similares son los tiempos de ejecución entre diferentes solucionadores.

3. Contribuciones Clave

Nuevo Conjunto de Benchmarks: Se publicó un conjunto de fórmulas consolidado que combina instancias probadas de años anteriores con nuevas contribuciones de la comunidad, disponible públicamente para futuras investigaciones.
Diversidad de Formatos: Se logró un equilibrio significativo, con casi la mitad de las fórmulas presentadas en formato no-CNF (QCIR), promoviendo el desarrollo de solucionadores que no dependen de la conversión a CNF.
Análisis de Preprocesadores: Se evaluó el impacto de preprocesadores (Bloqqer, HQSpre, QRATPre+) en la resolución de fórmulas, demostrando que no existe un preprocesador "universalmente mejor" y que la elección depende del solucionador subyacente.
Evaluación de Solucionadores: Se documentó el rendimiento de más de 30 configuraciones de solucionadores y preprocesadores, incluyendo variantes de algoritmos como CEGAR (Refinamiento de Abstracción Guiado por Contrajemplo), QCDCL (Aprendizaje de Cláusulas/Cubos Guiado por Conflictos Cuantificados) y Expansión.

4. Resultados Principales

Track PCNF (QDIMACS):
- Los solucionadores basados en CAQE (CAQE-pre, CAQE-Bloqqer, CAQE-HQSpre) dominaron la categoría, resolviendo la mayor cantidad de instancias (hasta 231 fórmulas).
- DepQBF mostró un rendimiento sólido pero inferior a CAQE.
- Se observó que el aumento de memoria (de 8 GB a 100 GB) mejoró significativamente el rendimiento de ciertos solucionadores como RAReQS y miniQU-q, pero no de otros como dynQBF, que mostró inconsistencias.
- En términos de resultados, la mayoría de los solucionadores resolvieron más fórmulas UNSAT que SAT, excepto dynQBF y Pedant.
Track PNCNF (QCIR):
- Nuevamente, las variantes de CAQE (específicamente QuAbS-CAQE) lideraron, resolviendo 286 fórmulas.
- CQESTO obtuvo el segundo lugar y resolvió la mayor cantidad de fórmulas únicas.
- A diferencia del track PCNF, en QCIR muchos solucionadores resolvieron más fórmulas SAT que UNSAT.
- Se evidenció que la conversión de formatos influye en el resultado: algunos solucionadores que fallaron en QDIMACS tuvieron mejor rendimiento en QCIR.
Track DQBF:
- El solucionador Pedant fue el más exitoso, resolviendo 284 fórmulas y superando a los solucionadores basados en eliminación de cuantificadores como HQS y DQBDD.
Instancias "Crafted":
- CAQE-Bloqqer fue el único solucionador capaz de resolver todas las fórmulas de todas las familias de instancias generadas.
- Los solucionadores mostraron fortalezas muy específicas: por ejemplo, Qute resolvió casi todas las instancias de la familia "EQ" pero falló en "CR".
Análisis de Similitud:
- Los mapas de calor (heatmaps) mostraron que en la pista PCNF hay una mayor diversidad de comportamientos entre solucionadores (menos correlación) que en la pista PNCNF, lo que sugiere que el conjunto de PCNF actual podría beneficiarse de una mayor diversidad de instancias para distinguir mejor las capacidades.

5. Significancia

El informe "The QBF Gallery 2023" es fundamental para la comunidad de investigación en lógica computacional porque:

Establece un Nuevo Estándar de Benchmarking: Proporciona un conjunto de datos público y rigurosamente seleccionado que evita el sesgo hacia problemas triviales o imposibles, permitiendo comparaciones justas.
Impulsa la Investigación en No-CNF: Al dar un peso significativo al formato QCIR, fomenta el desarrollo de algoritmos que operan directamente sobre circuitos y estructuras no clausales, evitando las pérdidas de información que a veces ocurren en la conversión a CNF.
Identifica Tendencias Tecnológicas: Confirma que las técnicas híbridas (como CEGAR combinado con preprocesamiento) y los solucionadores basados en QCDCL siguen siendo los más efectivos, pero también destaca la necesidad de mejorar la estabilidad de ciertos solucionadores frente a variaciones de recursos (memoria).
Futuro de la Evaluación: El reporte discute la necesidad de futuros eventos que incluyan una mayor diversidad de instancias para capturar mejor las fortalezas específicas de cada herramienta, sirviendo como base para la planificación de futuras ediciones de evaluaciones QBF.

En resumen, este documento no solo documenta el estado actual de los solucionadores de QBF en 2023, sino que también define la hoja de ruta para el desarrollo de herramientas más robustas y eficientes en los años venideros.