Distilling Answer Set Programming Theories from Large Language Models
Este artículo investiga la capacidad de los modelos de lenguaje extensos para destilar autónomamente teorías de Programación de Conjuntos de Respuestas completas y correctas para tareas de respuesta de preguntas visuales dentro de un límite de una hora, demostrando que los modelos de vanguardia como Claude Sonnet 4.6, Claude Opus 4.7 y DeepSeek V4 Pro logran una precisión casi perfecta en varios referentes, mientras que GPT-5 exhibe una variabilidad de rendimiento significativa y sensibilidad a los datos de referencia.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo donde las computadoras son increíblemente buenas en dos cosas muy diferentes. Por un lado, son como calculadoras superrápidas que pueden seguir reglas estrictas para resolver acertijos lógicos, pero son pésimas para comprender el mundo desordenado y difuso que las rodea. Por otro lado, son como narradoras brillantes y creativas que pueden leer casi cualquier cosa y escribir poesía, pero a menudo inventan hechos o se pierden cuando se les pide seguir un conjunto rígido de instrucciones. Los científicos llaman al matrimonio de estas dos habilidades la computación "neurosimbólica". Es como intentar construir un robot que tenga tanto la imaginación de un poeta como la precisión de un matemático. La gran pregunta que se hacen los investigadores es: ¿Podemos enseñar a una computadora superinteligente (un Modelo de Lenguaje Extenso) a escribir su propio libro de reglas estrictas desde cero, para que pueda resolver acertijos complejos sin que un humano tenga que escribir cada una de las reglas a mano? Esto es importante porque escribir estos libros de reglas es lento, aburrido y difícil de hacer correctamente, pero si una computadora pudiera hacerlo, podríamos desbloquear nuevas formas para que las máquinas razonen sobre el mundo.
En este artículo, un equipo de investigadores intentó ver si un modelo de lenguaje extenso podía actuar como un aprendiz incansable, aprendiendo a escribir un "libro de reglas" completo para un rompecabezas tipo videojuego llamado Respuesta Visual a Preguntas (VQA). Imagina que le muestras a una computadora la imagen de una escena y le preguntas: "¿Está el frisbee amarillo a la izquierda de la persona?". Para responder a esto, la computadora necesita entender la imagen, descomponer la pregunta y luego ejecutar una verificación lógica. Los investigadores le dieron a la computadora un archivo vacío y un conjunto de herramientas, incluyendo un "solucionador" (un árbitro estricto que verifica si las reglas tienen sentido). El trabajo de la computadora era leer algunos ejemplos de práctica, escribir algunas reglas, pedirle al árbitro que las revisara, ver dónde fallaba y luego reescribir las reglas. Tenía una hora para seguir haciendo esto hasta que fuera lo mejor que pudiera ser.
Los investigadores probaron esto en tres diferentes "niveles de acertijo": CLEVR (formas simples generadas por computadora), GQA (fotos del mundo real con muchos más objetos) y CLEVRER (videos cortos que involucran causa y efecto). Probaron esto con nueve modelos de computadora diferentes, que iban desde los modelos "de frontera" más nuevos y potentes hasta otros más pequeños y antiguos. Los resultados fueron una mezcla de un éxito asombroso y un fracaso sorprendente. Tres de los cuatro modelos de primer nivel se convirtieron en maestros del juego. En los acertijos simples de CLEVR, alcanzaron una puntuación perfecta del 100%. En los acertijos más difíciles de GQA, obtuvieron puntuaciones entre el 92.8% y el 98.8%, lo cual es incluso mejor que los mejores libros de reglas escritos por humanos disponibles para ese conjunto de datos. En los acertijos de video (CLEVRER), obtuvieron puntuaciones entre el 92.7% y el 95.3%.
Sin embargo, no todos los modelos tuvieron éxito. Uno de los modelos más famosos, GPT-5, lo hizo de maravilla en los acertijos simples (98.7%), pero colapsó en los acertijos de fotos del mundo real, cayendo a solo un 41.8%. Los investigadores descubrieron que esto no se debía a que el modelo no pudiera razonar; era porque el modelo simplemente no escribió suficientes reglas para cubrir todos los diferentes tipos de preguntas. Cuando los investigadores le dieron a los modelos una "hoja de trucos" (un libro de reglas de referencia de un tipo de acertijo diferente) para ayudarlos, los modelos superiores se mantuvieron casi igual, pero GPT-5 en realidad empeoró, lo que sugiere que mirar la hoja de trucos podría haberlo distraído o consumido su memoria. Los modelos más pequeños y menos potentes fallaron principalmente en escribir cualquier regla funcional, quedándose a menudo estancados o escribiendo reglas que el árbitro no podía entender.
El estudio muestra que, con la configuración adecuada, una computadora puede de hecho enseñarse a sí misma a escribir un libro de reglas lógicas completo y de alta calidad desde cero, alcanzando o incluso superando el rendimiento humano en varios parámetros. Pero también sugiere que esta capacidad no está garantizada; depende en gran medida del modelo específico utilizado, y a veces, darle a un modelo más información (como un libro de referencia) puede en realidad confundirlo. Los investigadores han publicado todo su código y los libros de reglas que las computadoras escribieron, invitando a otros a intentar mejorar este aprendizaje "neurosimbólico".
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.