🤖 AI

Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering

Este artículo presenta BinJudge, un marco de evaluación sin referencia, escalable y rentable para la Ingeniería Inversa Binaria Orientada al Humano que emplea un mecanismo de enrutamiento ligero para seleccionar adaptativamente configuraciones óptimas de LLM-as-a-Judge, mejorando significativamente la correlación con expertos humanos en comparación con las métricas tradicionales.

Autores originales: Xiuwei Shang, Li Hu, Xiao Jiang, Jieke Shi, Junda He, Zhou Yang, Shaoyin Cheng, Guoqiang Chen, Weiming Zhang, David Lo

Publicado 2026-08-10

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiuwei Shang, Li Hu, Xiao Jiang, Jieke Shi, Junda He, Zhou Yang, Shaoyin Cheng, Guoqiang Chen, Weiming Zhang, David Lo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando leer un mensaje secreto escrito en un lenguaje que ha sido codificado, despojado de su puntuación y al que se le han borrado todos los nombres de las personas involucradas. Esto es lo que sucede cuando los expertos en seguridad intentan comprender programas informáticos que han sido compilados en código "binario": las instrucciones puras legibles por máquina que ejecutan tu teléfono o tu portátil. Por lo general, estos programas vienen con un manual de "código fuente" muy útil, pero cuando los hackers o los autores de malware ocultan sus huellas, ese manual desaparece. Los expertos tienen que usar herramientas especiales para traducir el binario codificado de nuevo a algo que parezca código, pero a menudo resulta en un conjunto confuso y desordenado de números y nombres genéricos como "sub_401B20". Para dar sentido a esto, necesitan reescribirlo en una historia amigable para el ser humano, un proceso llamado Ingeniería Inversa de Binarios Orientada al Humano. Pero aquí está la parte difícil: ¿cómo sabes si la nueva historia, ya limpia, es realmente buena? No puedes simplemente pedirle a una computadora que cuente cuántas palabras coinciden con una respuesta perfecta, porque la respuesta perfecta no existe (el manual original ha desaparecido). Y pedirle a un experto humano que lea cada línea es demasiado lento, demasiado caro, y se cansan. Entonces, la gran pregunta es: ¿Podemos enseñar a una IA superinteligente a actuar como juez y decirle si la traducción es buena, sin necesidad de comparar con el manual original?

Este artículo profundiza en esa misma pregunta, explorando si los Modelos de Lenguaje de Gran Tamaño (LLM) —el mismo tipo de IA que puede escribir poemas o resolver problemas matemáticos— pueden ser los "árbitros" para estas traducciones de código desordenadas. Los investigadores descubrieron que estos jueces de IA son, de hecho, mucho mejores entendiendo el significado del código que las métricas informáticas tradicionales, que solo buscan coincidencias de palabras. De hecho, los jueces de IA coincidieron con los expertos humanos el 63.20% de las veces, mientras que los viejos métodos computacionales solo coincidieron aproximadamente el 35.04% de las veces. Sin embargo, el artículo también descubrió un giro sorprendente: no existe una única configuración de IA "mejor" que funcione para todas las situaciones. A veces, un modelo de IA específico con una forma específica de hacer preguntas funciona de maravilla para nombrar funciones, pero fracasa estrepitosamente al resumir código. Es como intentar usar un mismo par de zapatos para correr, nadar y hacer senderismo; necesitas el equipo adecuado para cada tarea.

Para resolver esto, los autores construyeron un sistema ingenioso llamado "BinJudge". Piensa en él como un inteligente controlador de tráfico que observa cada pieza específica de código y elige instantáneamente el juez de IA perfecto y la mejor forma de hacerle la pregunta. Este sistema no se limita a elegir un único "mejor" juez para todos; se adapta sobre la marcha. Al hacer esto, BinJudge logró acercarse aún más a los expertos humanos (mejorando la concordancia hasta en un 24.7%) y, al mismo tiempo, ahorró una cantidad masiva de dinero, costando solo una fracción mínima (entre 0.06 y 0.84 veces) de lo que costaría usar la configuración estática más cara. El artículo demuestra que, si bien no podemos simplemente elegir un botón mágico para arreglarlo todo, podemos construir un sistema inteligente y flexible que hace que la evaluación de estas complicadas traducciones de código sea rápida, barata y sorprendentemente precisa.

El Trasfondo: Decodificando el Mensaje Codificado

Antes de llegar al evento principal, establezcamos el escenario con algunas ideas clave.

La Ingeniería Inversa de Binarios es como intentar reconstruir un pastel después de que ha sido horneado, aplastado y se le ha raspado todo el glaseado. Tienes el producto final (el archivo binario), pero no tienes la receta (el código fuente). Los expertos utilizan herramientas para revertir el proceso, convirtiendo el código de máquina de nuevo en algo que parezca código de programación. Sin embargo, debido a que la "receta" original ha desaparecido, el resultado suele ser desordenado.

La Ingeniería Inversa de Binarios Orientada al Humano (HOBRE) es el siguiente paso. Es el arte de tomar ese código desordenado y de apariencia mecánica y pulirlo para que un humano pueda realmente leerlo. Esto implica dar a las funciones nombres descriptivos y atractivos (en lugar de "sub_401B20"), escribir resúmenes claros de lo que hace el código y corregir su estructura para que parezca una historia bien escrita.

El Problema de la Evaluación: ¿Cómo saber si el "pulido" funcionó?

La Forma Antigua (Coincidencia de Texto): Imagina calificar el ensayo de un estudiante contando cuántas palabras coinciden con la clave de respuestas de un profesor. Si el estudiante dice "El gato corrió rápido" y la clave dice "El felino esprintó velozmente", el viejo sistema computacional dice: "¡Incorrecto! ¡Cero puntos!", porque las palabras no coinciden. Esto es malo para el código porque hay muchas formas de decir lo mismo.
La Forma Humana: Un experto humano lee el código y dice: "Sí, eso tiene sentido". Este es el "estándar de oro", pero es lento, caro y difícil de escalar.
La Nueva Idea (LLM como Juez): ¿Qué pasaría si le pedimos a una IA, que ha leído millones de libros y fragmentos de código, que actúe como el profesor? En lugar de solo contar palabras, la IA entiende el significado. Sabe que "gato" y "felino" son lo mismo, y puede distinguir si un resumen realmente explica el código o si solo suena elegante.

El Viaje del Artículo: Probando a los Jueces de IA

Los investigadores, liderados por Xiuwei Shang y su equipo, decidieron poner a prueba esta idea del "Juez de IA". No solo adivinaron; construyeron un patio de juegos masivo y de alta calidad llamado BinJudgeBench.

Construyendo el Patio de Juegos:
Tomaron 51 proyectos de software del mundo real, los compilaron en código binario y luego eliminaron todos los nombres y comentarios útiles. Luego, pidieron a 8 modelos de IA diferentes que intentaran reparar el código. Para saber quién hizo un buen trabajo, tres expertos humanos (que son básicamente detectives de código) leyeron los resultados y los calificaron en una escala del 1 al 5. Verificaron aspectos como:

¿Tiene sentido? (Corrección Semántica)
¿Ayuda a un humano a entender el código más rápido? (Utilidad)
¿Está escrito con un estilo natural y humano? (Idiomatismo)

Esto creó un conjunto de datos de "Estándar de Oro" con más de 1,200 ejemplos cuidadosamente calificados.

El Primer Descubrimiento: Jueces de IA frente a Métricas Antiguas
El equipo comparó los jueces de IA contra las métricas antiguas de "conteo de palabras". Los resultados fueron claros: los jueces de IA eran mucho mejores entendiendo el lado humano de las cosas.

Los jueces de IA coincidieron con los expertos humanos el 63.20% de las veces.
Las viejas métricas computacionales solo coincidieron el 35.04% de las veces.

Esto sugiere que la IA puede realmente "captar" el significado del código, no solo la ortografía. Es como la diferencia entre un robot que cuenta cuántas veces dices "hola" y un amigo que entiende que en realidad estás saludando de forma cálida.

El Segundo Descubrimiento: El Mito de "Uno para Todos"
Aquí es donde se pone interesante. Los investigadores probaron diferentes configuraciones para los jueces de IA:

Diferentes Modelos: Algunas IA son enormes y caras (como GPT-4o), otras son más pequeñas y baratas.
Diferentes Prompts (Instrucciones): A algunas se les pidió que solo dieran una puntuación (Zero-Shot), a otras se les mostraron ejemplos de lo que es un "5" o un "1" (Few-Shot), y a otras se les pidió que explicaran su razonación paso a paso (Chain-of-Thought).
Diferentes Temperaturas: Esto controla qué tan "creativa" o "aleatoria" es la IA al responder.

Descubrieron que no existe una única configuración que sea la mejor.

Para algunas tareas, como resumir código, mostrar ejemplos a la IA (Few-Shot) funcionaba mejor.
Para otras tareas, como nombrar funciones, pedirle a la IA que piense paso a paso (Chain-of-Thought) ayudaba a que los modelos más pequeños lo hicieran mejor.
A veces, un modelo enorme y caro era el mejor; otras veces, un modelo más pequeño y barato era igual de bueno.

Esto significa que no puedes simplemente elegir una IA "mejor" y usarla para todo. Es como intentar usar un mazo para arreglar un reloj; a veces necesitas un destornillador diminuto y otras veces un mazo pesado.

La Solución: BinJudge (El Inteligente Controlador de Tráfico)
Dado que no hay una única mejor configuración, el equipo construyó BinJudge. Este es un sistema ligero que actúa como un enrutador inteligente.

Observa una pieza específica de código.
Se pregunta a sí mismo: "¿Qué modelo de IA y qué estilo de pregunta funcionarán mejor para esta pieza específica de código?".
Elige esa combinación específica y envía el código a ese juez.

Los Resultados de BinJudge:

Mejor Precisión: Al elegir el juez adecuado para el trabajo, BinJudge mejoró la concordancia con los expertos humanos entre un 4.5% y un 24.7% en comparación con el uso de una configuración única y estática.
Más Barato: Debido a que a menudo elige modelos más pequeños y económicos cuando son suficientes, redujo el costo a entre 0.06x y 0.84x del costo de usar la configuración más cara y "mejor".

Lo Que Esto Significa

El artículo concluye que no necesitamos depender de expertos humanos costosos para cada pieza de código, ni tenemos que conformarnos con métricas computacionales tontas que solo cuentan palabras. Podemos usar jueces de IA, pero tenemos que ser inteligentes al respecto. No podemos simplemente elegir una IA "mejor"; necesitamos un sistema que se adapte, eligiendo la herramienta adecuada para el trabajo adecuado.

Los autores advierten cuidadosamente que, aunque los jueces de IA son buenos, no son perfectos. A veces se confunden si el código es demasiado vago o si la IA se vuelve demasiado "fluida" pero incorrecta. Pero en general, este trabajo sugiere que, con el sistema adaptativo adecuado, podemos evaluar las traducciones de código de una manera que es rápida, barata y sorprendentemente cercana a lo que diría un experto humano. Es un gran paso hacia hacer que el mundo oscuro y desordenado del código binario sea un poco más legible para todos.

Resumen Técnico: Más allá de la coincidencia de texto: Hacia la evaluación sin referencias para la Ingeniería Inversa de Binarios Orientada al Humano

Declaración del Problema
La Ingeniería Inversa de Binarios Orientada al Humano (HOBRE, por sus siglas en inglés) tiene como objetivo transformar el pseudocódigo descompilado en representaciones más amigables para el humano (por ejemplo, la recuperación de nombres de funciones, el resumen de código y la optimización de la legibilidad) para reducir la carga cognitiva de los analistas. Sin embargo, evaluar de manera fiable los resultados de HOBRE sigue siendo un desafío fundamental. Los métodos de evaluación existentes sufren tres limitaciones principales:

Evaluación Humana: Aunque se considera el "estándar de oro", es costosa, consume mucho tiempo, difícil de escalar y propensa a problemas de consistencia debido a la fatiga del analista.
Métricas Basadas en Pruebas: Los métodos que dependen de la reejecutabilidad requieren pruebas unitarias exhaustivas y entornos de ejecución específicos, que a menudo no están disponibles para binarios del mundo real sin código fuente.
Métricas de Coincidencia de Texto: Las métricas automatizadas tradicionales (por ejemplo, BLEU, CodeBLEU, BERTScore) dependen de referencias de código fuente de alta calidad. En los escenarios de HOBRE, el código fuente es frecuentemente inexistente (por ejemplo, en el análisis de malware o firmware con símbolos eliminados). Además, estas métricas se centran en la similitud léxica en lugar de la equivalencia semántica, fallando al capturar salidas semánticamente correctas pero léxicamente diversas.

Si bien el paradigma "LLM-as-a-Judge" (el LLM como juez) ofrece una solución potencial al aprovechar los modelos de lenguaje de gran tamaño (LLM) para la evaluación sin referencias y basada en la semántica, su efectividad, fiabilidad y configuración óptima para las tareas de HOBRE no han sido investigadas sistemáticamente.

Metodología
El artículo propone una investigación sistemática sobre el uso de LLM-as-a-Judge para HOBRE, estructurada en torno a tres componentes principales:

BinJudgeBench (Benchmark):
- Los autores construyeron el primer benchmark de evaluación sin referencias, anotado por expertos, para HOBRE.
- Recopilación de Datos: 51 proyectos GNU reales fueron compilados en 24 variantes binarias en 6 arquitecturas y 4 niveles de optimización. Los binarios sin símbolos fueron descompilados utilizando IDA Pro.
- Generación de Respuestas: 8 modelos representativos (incluyendo modelos de aprendizaje profundo específicos para binarios, LLM de propósito general y LLMs del dominio de binarios) generaron salidas para tres tareas: Recuperación de Nombre de Función (FNR), Resumen de Código Binario (BCS) y Optimización de Descompilación (DO).
- Anotación: Tres expertos en ingeniería inversa anotaron 1,233 muestras utilizando una escala de Likert multidimensional (1–5). El marco evaluó la Corrección Semántica, la Utilidad para el Analista Inverso y dimensiones específicas de la tarea (por ejemplo, Distintividad de Nombramiento para FNR, Cobertura de Información para BCS). La concordancia entre anotadores fue verificada mediante el Alfa de Krippendorff.
Estudio Empírico (RQ1–RQ3):
- RQ1 (Efectividad): El estudio comparó 9 LLM base contra 11 métricas tradicionales (basadas en coincidencia y basadas en embeddings) utilizando las correlaciones de Kendall's $\tau$ , Spearman's $r_s$ y Pearson's $r_p$ frente a los juicios humanos.
- RQ2 (Impacto de la Configuración): Los autores analizaron cómo los LLM base, las estrategias de prompting (Zero-Shot, Few-Shot, Chain-of-Thought) y las temperaturas de decodificación afectan la correlación y el costo de la API.
- RQ3 (Variabilidad): El estudio investigó si existe una configuración de "talla única". Compararon configuraciones aleatorias, estáticas (la mejor única) y Oracle (óptima a nivel de muestra) para determinar la "Brecha Oracle" (Oracle Gap).
BinJudge Router (RQ4):
- Motivados por el hallazgo de que las configuraciones óptimas varían según la tarea y la muestra, los autores propusieron BinJudge, un mecanismo de enrutamiento ligero.
- Arquitectura: BinJudge utiliza un codificador UniXcoder congelado para extraer características del pseudocódigo sin símbolos, concatenado con embeddings de la tarea. Un perceptrón multicapa predice una distribución de probabilidad sobre las 81 posibles configuraciones de juez (9 modelos × 3 prompts × 3 temperaturas).
- Entrenamiento: El modelo se entrena mediante alineación de distribución para maximizar una función de utilidad que equilibra la correlación con las puntuaciones humanas y minimiza el costo de la API.
- Inferencia: Para cada nueva muestra, BinJudge selecciona dinámicamente la configuración de juez óptima.

Resultados Clave

Superioridad de LLM-as-a-Judge: Los LLM lograron una correlación promedio del 63.20% con el juicio humano, superando significativamente a las métricas automatizadas tradicionales (35.04%). La brecha fue más pronunciada en el Resumen de Código Binario (BCS), donde los LLM manejaron expresiones de código abierto y semánticamente equivalentes mejor que las métricas léxicas.
Sensibilidad de la Configuración: Ninguna configuración única fue óptima en todas las tareas.
- Prompting: El Aprendizaje de Pocos Ejemplos (Few-Shot Learning - FSL) generalmente benefició a los modelos ultra grandes, mientras que la Cadena de Pensamiento (Chain-of-Thought - CoT) mejoró a los modelos más pequeños.
- Temperatura: Las temperaturas bajas (0.1/0.5) generalmente favorecieron a los modelos grandes, mientras que las temperaturas altas a veces ayudaron a los modelos más pequeños.
- Costo vs. Rendimiento: Existieron diferencias de Pareto significativas; por ejemplo, Gemini-2.5-Flash logró una alta correlación a una fracción del costo de Claude-3.5-Sonnet.
La Brecha Oracle (Oracle Gap): Una configuración "mejor" estática (por ejemplo, 70.31% $\tau$ ) se quedó significativamente por debajo del límite superior teórico de Oracle (92.95% $\tau$ ), demostiendo que las configuraciones fijas no pueden manejar la heterogeneidad de las muestras de HOBRE.
Rendimiento de BinJudge: El mecanismo de enrutamiento adaptativo mejoró la correlación con los expertos humanos en un 4.5%–24.7% sobre las configuraciones estáticas mejores. Crucialmente, redujo los costos de la API a 0.06×–0.84× de los costos de las configuraciones estáticas, estrechando efectivamente la brecha entre el rendimiento estático y el de Oracle, manteniéndose a la vez rentable.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera investigación sistemática de LLM-as-a-Judge en el dominio especializado de la ingeniería inversa de binarios. Sus contribuciones primarias son:

BinJudgeBench: Un benchmark de alta calidad y sin referencias que permite la evaluación de herramientas HOBRE sin acceso al código fuente.
Evidencia Empírica: La demostración de que los LLM pueden aproximar de manera fiable el juicio humano en HOBRE, capturando una equivalencia semántica profunda donde las métricas tradicionales fallan.
BinJudge Router: Una solución escalable y rentable que aborda la limitación de "talla única". Al seleccionar adaptativamente las configuraciones de los jueces, BinJudge ofrece un esquema de evaluación automatizado de alta fidelidad que es práctico para el despliegue en el mundo real.

Los autores concluyen que, si bien los jueces LLM no reemplazan totalmente a los expertos humanos (particularmente en casos que carecen de anclajes semánticos o contexto), representan una alternativa superior a las métricas tradicionales para la evaluación automatizada y escalable de los artefactos de HOBRE.

El Trasfondo: Decodificando el Mensaje Codificado

El Viaje del Artículo: Probando a los Jueces de IA

Lo Que Esto Significa

Más como este