Resumen Técnico: De la Alucinación a la Fundamentación

1. Definición del Problema y el Fenómeno "Alucinación"

El artículo aborda la fiabilidad de los Modelos de Lenguaje Grandes Multimodales (MLLM) en la generación de código Verilog a partir de circuitos, una tarea donde los diagramas de circuitos visuales deben traducirse a código de Nivel de Transferencia de Registro (RTL) sintetizable. Los autores identifican un defecto crítico y encubierto denominado fenómeno Alucinación.

En los protocolos de evaluación estándar, se proporciona a los MLLM un diagrama de circuito y un module_header (que contiene el nombre del módulo, los puertos y los parámetros). Los autores demuestran que muchos MLLM de última generación no "leen" genuinamente la topología visual. En su lugar, explotan la semántica de los identificadores dentro del module_header para recuperar plantillas RTL canónicas.

• Evidencia: Cuando el diagrama de circuito se reemplaza por una imagen en blanco (manteniendo el module_header), el rendimiento de los modelos (Pass@k) permanece sin cambios o incluso mejora.
• Implicación: Las altas puntuaciones en los benchmarks a menudo ocultan una falta de fundamentación visual. Los modelos eluden la entrada visual por completo, confiando en atajos textuales. Esto crea un riesgo de seguridad en el diseño de hardware, donde un único esquema mal interpretado puede propagarse silenciosamente a través de la cadena de herramientas para causar defectos a nivel de silicio.

2. Metodología

A. Construcción del Benchmark: C2VEVAL

Para cuantificar el fenómeno Alucinación, los autores construyeron C2VEVAL, un benchmark que garantiza la correspondencia exacta entre imagen y código.

• Fuente de Datos: 169 muestras derivadas de benchmarks de Verilog establecidos (VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench), renderizadas en diagramas de circuito utilizando NETLISTSVG.
• Protocolo Emparejado: El benchmark evalúa los modelos bajo dos variantes:
  1. Normal: Identificadores originales tanto en el diagrama como en el encabezado.
  2. Anony (Anonimizado): Todos los identificadores cargados semánticamente (nombres de módulos, nombres de puertos, parámetros) se reemplazan por marcadores de posición posicionales (por ejemplo, val_0, val_1). El diagrama se vuelve a renderizar para coincidir con estos marcadores, eliminando las pistas semánticas mientras se preserva la topología.
• Modos de Evaluación:
  • Original: Se proporciona el diagrama de circuito real.
  • Alucinación: El diagrama se reemplaza por una imagen en blanco; se mantiene el encabezado.

B. Solución Propuesta: VeriGround

Los autores proponen VeriGround, un MLLLM de 4B de parámetros entrenado para imponer una fundamentación visual genuina y equilibrar la compensación entre la alucinación y el rechazo excesivo. La tubería de entrenamiento consta de tres etapas:

1. Recopilación y Anonimización del Conjunto de Datos:

   • Se extrae un corpus a gran escala (~54k muestras) de GitHub, se verifica para síntesis y se filtra por dificultad.
   • El corpus se divide en variantes Normal y Anony, obligando al modelo a aprender de la topología visual en lugar de la memorización de identificadores.

2. Ajuste Fino Supervisado Mixto (SFT):

   • El modelo se ajusta fino sobre el corpus mixto Normal + Anony. Esto obliga al modelo a fundamentar las predicciones en la estructura visual del circuito en lugar de depender de atajos semánticos en el encabezado.

3. Alineación ORPO Centrada en la Decisión (D-ORPO):

   • Para abordar la tendencia de los modelos a alucinar código sin entrada visual o rechazar en exceso entradas válidas, los autores introducen D-ORPO.
   • Pares de Preferencia: Se construyen tres categorías:
     • COINCIDENCIA: Diagrama válido + Rechazo (rechazado) vs. Código Correcto (seleccionado).
     • EN BLANCO: Imagen en blanco + Código (rechazado) vs. Rechazo (seleccionado).
     • DISCREPANCIAS: Diagrama no relacionado + Código (rechazado) vs. Rechazo (seleccionado).
   • Mecanismo: El ORPO estándar trata todos los tokens por igual, lo que sesga al modelo hacia respuestas de rechazo más cortas debido a la asimetría de longitud. D-ORPO aumenta el peso de los primeros $K$ tokens de respuesta (el límite de decisión) con un peso $\alpha > 1$. Esto concentra la señal de preferencia en la decisión generar-o-rechazar, mitigando el rechazo excesivo mientras se mantienen altas tasas de rechazo para entradas inválidas.

3. Contribuciones Clave

1. Identificación del Fenómeno: El artículo documenta que el fenómeno Alucinación es universal en ocho MLLM evaluados (incluyendo GPT-5.4, Opus-4.6 y modelos de código abierto). En modo Normal, eliminar el diagrama a menudo mejora las puntuaciones; la fundamentación visual genuina representa solo ~8–9% de las muestras.
2. Benchmark y Evaluación: C2VEVAL introduce un protocolo emparejado Normal/Anony × Original/Alucinación que aísla la semántica de los identificadores como el motor principal del rendimiento, sirviendo como diagnóstico para las tuberías de visión-a-código.
3. Metodología: VeriGround (4B) integra anonimización de identificadores, aumento de rechazo y alineación D-ORPO.
4. Rendimiento: VeriGround logra un Functional Pass@1 del 46.11% (Normal) y 42.51% (Anony).
   • Se acerca al rendimiento de GPT-5.4 (45.51%) bajo condiciones Normales.
   • Supera significativamente a todos los puntos de referencia bajo condiciones Anony (por ejemplo, +31.13% sobre Opus-4.6), confirmando una fundamentación visual genuina.
   • Mantiene una Tasa de Rechazo Falso (FRR) de solo 1.20% (Normal) y 0.00% (Anony) mientras mantiene la Tasa de Rechazo en imágenes en blanco por encima del 92%.

4. Resultados y Significancia

• Fundamentación Visual vs. Atajos: El estudio empírico revela que bajo el protocolo Anony, la "ventaja Alucinación" (donde las imágenes en blanco producen mejores resultados) se invierte para 7 de cada 8 modelos. Esto confirma que las altas puntuaciones estándar se deben en gran medida a atajos basados en encabezados, no a la comprensión visual.
• Eficiencia: VeriGround, con solo 4B de parámetros, rivaliza con modelos propietarios de escala de vanguardia (por ejemplo, GPT-5.4, ~200B+ estimados) en modo Normal y los supera decisivamente en modo Anony.
• Equilibrio: El componente D-ORPO resuelve con éxito la tensión entre la alucinación y el rechazo excesivo. El ORPO estándar logró un rechazo casi perfecto en imágenes en blanco pero sufrió altas tasas de rechazo falso (~9%) en entradas válidas. D-ORPO redujo la FRR a casi cero mientras mantenía una alta precisión de rechazo en entradas inválidas.
• Generalizabilidad: Los autores afirman que la metodología (anonimización + aumento de rechazo + alineación centrada en la decisión) es transferible a otras tareas de visión-a-código (por ejemplo, UI-a-HTML, Gráfico-a-Python) donde los prompts textuales pueden filtrar atajos semánticos.

5. Afirmaciones y Limitaciones

El artículo afirma modestamente que VeriGround ofrece una solución transferible para calibrar la alucinación y el rechazo excesivo en la generación de código por IA. No afirma resolver todos los desafíos del diseño de hardware, sino proporcionar un marco de evaluación riguroso y una receta de entrenamiento para garantizar que los modelos confíen en la evidencia visual.

• Amenazas a la Validez: Los autores reconocen que C2VEVAL se limita a 169 muestras y categorías específicas de circuitos. Los hallazgos pueden no generalizarse completamente a VHDL, SystemVerilog o circuitos a escala industrial. Además, la corrección funcional depende de la simulación de pruebas, lo cual puede no cubrir todos los casos límite.
• Trabajo Futuro: Los autores planean escalar VeriGround a arquitecturas más grandes y más pequeñas y expandir el benchmark con circuitos a escala industrial para validar aún más la generalizabilidad de su enfoque.