Resumo Técnico: HLS-Seek

Declaração do Problema

A Síntese de Alto Nível (HLS) compila descrições algorítmicas em C/C++ para hardware no nível de transferência de registradores (RTL). A Qualidade dos Resultados (QoR) — especificamente a latência de execução e a utilização de recursos (LUTs, DSPs, BRAMs, FFs) — é crítica para a implantação de aceleradores no mundo real. No entanto, a QoR é determinada por estruturas microarquiteturais, configurações de pragmas e otimizações de código que não podem ser inferidas com precisão apenas pela análise de código de software; requer avaliação cara de síntese e implementação.

As abordagens existentes de Modelos de Linguagem de Grande Porte (LLM) para geração de código HLS focam principalmente na correção funcional (gerar código compilável e executável), mas são agnósticas à QoR. Elas tratam todos os designs compiláveis de forma igual, independentemente de seu desempenho em hardware. Embora o Aprendizado por Reforço (RL) com feedback real de síntese (síntese no loop) tenha mostrado promessa no domínio RTL, aplicá-lo à HLS é proibitivamente caro. Uma única execução de síntese HLS pode levar de minutos a horas, e o treinamento de RL tipicamente requer milhares de avaliações, tornando a abordagem inviável em escala.

Metodologia

Os autores propõem o HLS-Seek, um framework de Linguagem Natural para HLS consciente de QoR que substitui o RL de síntese real caro por um modelo de recompensa proxy comparativo aprimorado por um mecanismo de comutação consciente de incerteza.

1. Insight Central

Os autores observam que o RL para HLS não requer valores absolutos de QoR (números exatos de latência/recurso) da síntese. Em vez disso, requer apenas comparações relativas entre designs candidatos para estimar vantagens relativas ao grupo. Esse insight permite o treinamento de um modelo proxy leve para prever qual de dois designs é melhor, contornando a necessidade de síntese durante a maioria das etapas de treinamento.

2. Pipeline de Treinamento em Três Estágios

O HLS-Seek emprega um processo de treinamento em três estágios:

• Estágio 1: Ajuste Fino Supervisionado (SFT) Orientado à Diversidade: O LLM base é ajustado finamente em um amplo corpus HLS com descrições de QoR para expor o modelo a diversas configurações de pragmas e padrões de codificação, estabelecendo uma fundação na sintaxe HLS.
• Estágio 2: SFT de Início Frio com Rastros de Raciocínio: Utilizando um conjunto de dados curado de designs próximos ao Pareto (compensações ótimas) aumentado com rastros de raciocínio Chain-of-Thought (CoT) gerados por modelos de raciocínio comerciais, o modelo aprende raciocínio estruturado de hardware e como selecionar configurações de pragmas ótimas.
• Estágio 3: Otimização de Política Relativa de Grupo (GRPO): O modelo é refinado usando GRPO com um sinal de recompensa de quatro componentes:
  1. Formato de Raciocínio: Garante saída estruturada com rastros CoT.
  2. Compilação: Verifica a correção sintática (compilação GCC).
  3. Correção Funcional: Verifica a correção semântica contra bancadas de teste.
  4. Recompensa Proxy de QoR: Uma recompensa comparativa derivada de uma rede Siamesa que predomina a dominância par a par.

3. Modelo de Recompensa Proxy Comparativo

• Arquitetura: Uma arquitetura Siamesa Bradley-Terry que recebe dois designs HLS como entrada e retorna uma probabilidade de um dominar o outro.
• Treinamento: Treinado em comparações par a par a partir de resultados de Exploração de Espaço de Design (DSE), distinguindo entre dominância Pareto completa (melhor em todas as 5 métricas) e superioridade de latência.
• Comutação Consciente de Incerteza: Para evitar "hacking de recompensa" (onde a política explora pontos cegos no modelo proxy), o sistema emprega dropout de Monte Carlo (MC) durante a inferência para estimar incerteza.
  • Se um design candidato tiver alta incerteza, o sistema dispara síntese real Vitis HLS para obter a QoR de verdade.
  • Esses resultados de síntese real são alimentados de volta para atualizar online o modelo de recompensa proxy, expandindo continuamente sua cobertura e confiabilidade.
  • Esse mecanismo garante que o proxy permaneça preciso enquanto mantém a taxa de acionamento de síntese baixa (alvo <5% na convergência).

4. Curadoria de Dados

O framework utiliza uma estratégia de Amostragem de Qualidade-Diversidade Próxima ao Pareto. Em vez de usar apenas designs estritamente ótimos de Pareto (que são poucos demais), inclui designs próximos à frente de Pareto, classificados por sua distância euclidiana à frente, garantindo que o modelo aprenda compensações finas entre recurso e latência.

Principais Contribuições

1. Insight de Recompensa Relativa: Identificação de que o RL para HLS requer apenas sinais de QoR relativos, não resultados de síntese absolutos, permitindo o uso de um modelo proxy comparativo.
2. Sistema Proxy Consciente de Incerteza: Um mecanismo inovador que combina um modelo de recompensa comparativo Siamesa com estimativa de incerteza via dropout MC e atualizações online via síntese real seletiva. Isso previne hacking de recompensa e garante autoaperfeiçoamento.
3. Framework HLS-Seek: Um pipeline completo de NL para HLS que alcança desempenho state-of-the-art com apenas 7B de parâmetros, utilizando uma estratégia de treinamento em três estágios (SFT Diversidade $\to$ SFT Início Frio de Raciocínio $\to$ GRPO de Recompensa Proxy).

Resultados Experimentais

Avaliado no benchmark HLS-eval e em um conjunto de testes ForgeHLS:

• Correção Sintática e Funcional:

  • Alcançou 81,5% de pass@1 de correção sintática e 81,4% de pass@5 de correção funcional no HLS-eval.
  • Superou modelos de fronteira (incluindo GPT-5.1, DeepSeek-V3.2 e Qwen3-235B) e bases especializadas em HLS (SAGE-HLS, Gai et al.) apesar de ter significativamente menos parâmetros (7B vs. 235B+ ou modelos de código maiores).
  • Especificamente, superou o GPT-5.1 em +2,3 pontos percentuais no pass@5 funcional no HLS-eval.

• Qualidade dos Resultados (QoR):

  • Alcançou a menor latência em 16 de 30 kernels.
  • Domina Pareto as bases específicas de HLS (SAGE-HLS e Gai et al.) em 9 kernels (5 vs. SAGE-HLS, 4 vs. Gai et al.) com apenas 1 vitória reversa.
  • Demonstrou a capacidade de realizar reestruturação de código algorítmico (por exemplo, expansão escalar e fissão de loops) em vez de apenas inserção de pragmas, levando a reduções significativas de latência (por exemplo, redução de 4,1x no GEMVER).

• Eficiência de Treinamento:

  • Alcançou uma aceleração de 8,5x no treinamento em comparação com o RL de recompensa real.
  • Em um orçamento de tempo de parede de 73 horas, o HLS-Seek completou 12.500 etapas de treinamento, enquanto uma abordagem de recompensa real completou apenas 1.460 etapas.
  • O mecanismo de recompensa proxy manteve alta precisão (99,53% de precisão de dominância Pareto) enquanto reduziu o custo de síntese para abaixo de 5% na convergência.

Significado e Alegações

O artigo afirma que o HLS-Seek demonstra que o RL específico de domínio com recompensas de QoR aprendidas é um caminho viável para a geração de código HLS totalmente automatizada e eficiente em hardware. Ao desacoplar a necessidade de resultados de síntese absolutos do loop de treinamento de RL, os autores superam o gargalo de escalabilidade das abordagens de síntese no loop.

O trabalho destaca que:

1. A consciência de QoR é alcançável sem síntese cara no loop, aproveitando comparações relativas.
2. Modelos pequenos (7B) podem superar modelos de fronteira massivos em tarefas de geração de hardware especializada quando treinados com sinais apropriados conscientes de QoR e rastros de raciocínio.
3. A reestruturação algorítmica é uma capacidade chave aprendida através desse processo, indo além do ajuste simples de pragmas para otimizar fundamentalmente a estrutura do código para paralelismo de hardware.

Os autores concluem que seu sistema de recompensa proxy consciente de incerteza equilibra com sucesso o compromisso entre velocidade de treinamento e fidelidade da recompensa, permitindo a geração de designs de hardware que não são apenas funcionalmente corretos, mas também otimizados para latência e uso de recursos.