Resumo Técnico: RuleChef

Declaração do Problema

Enquanto os primeiros sistemas de Processamento de Linguagem Natural (NLP) dependiam de regras manuais transparentes e artesanais, o campo mudou para classificadores baseados em características e, mais recentemente, para modelos de linguagem de grande escala (LLMs) e transformers pré-treinados. Embora essas abordagens modernas ofereçam cobertura e flexibilidade superiores, elas operam como "caixas pretas" com a lógica de decisão incorporada em parâmetros latentes, tornando-as difíceis de auditar, explicar ou editar diretamente. Essa falta de interpretabilidade é uma barreira crítica em domínios sensíveis e altamente regulamentados, como os setores médico, jurídico e financeiro, onde as previsões devem ser rastreáveis a padrões explícitos para serem certificadas.

Por outro lado, regras explícitas permanecem atraentes para muitas tarefas do mundo real devido ao seu baixo custo de inferência, determinismo e facilidade de inspeção. No entanto, o principal gargalo para sistemas baseados em regras não é a precisão, mas a natureza trabalhosa de escrevê-las e mantê-las manualmente, o que exige um conhecimento especializado substancial.

Metodologia: O Framework RuleChef

O RuleChef é um framework projetado para preencher essa lacça, utilizando LLMs exclusivamente no tempo de aprendizado para sintetizar regras simbólicas executáveis, mantendo o tempo de inferência determinístico e baseado em regras. O sistema separa a geração de regras da sua execução, garantindo que o modelo final seja rápido, inspecionável e editável.

Componentes Principais

1. Síntese de Regras:

   • O sistema recebe uma especificação de tarefa (ex: Reconhecimento de Entidades Nomeadas, classificação de texto) e sinais de supervisão (exemplos rotulados, correções, feedback de texto livre ou comportamento de modelo observado).
   • Ele estrutura prompts que incluem definições de tarefas, exemplos de treinamento amostrados, evidências de dados (incluindo dicas de regex de ferramentas como grex) e instruções de formato.
   • O LLM gera regras em formatos como expressões regulares (regex), padrões de tokens do spaCy ou código Python. A avaliação do artigo foca principalmente em regex.
   • As regras geradas são validades quanto à compilação e adesão ao esquema antes da aceitação.

2. Loop de Refinamento Iterativo:

   • Após a síntese inicial, o sistema avalia o conjunto de regras em um split de desenvolvimento reservado (held-out).
   • As falhas são agrupadas por "modos de falha" (ex: spans perdidos, spans espúrios, tipos errados).
   • O LLM é instruído a gerar "patches" (regras novas ou modificadas) visando esses clusters de falhas específicos.
   • Restrição Crucial: Um patch só é aceito se melhorar a qualidade (F1 score) no conjunto de desenvolvimento reservado. Isso evita o overfitting e a memorização dos dados de treinamento.
   • O loop pode ser conduzido por um cronograma fixo ou por um Coordenador Agêntico, que analisa métricas por classe para direcionar patches subsequentes, executar críticos periódicos (para fornecer feedback ao nível da regra) e realizar auditorias (para mesclar regras redundantes ou remover regras ineficazes).

3. Resolução de Conflitos e Poda:

   • Quando múltiplas regras se sobrepõem, o sistema executa a regra com maior prioridade. Empates são decididos com base na precisão alcançada no conjunto de desenvolvimento reservado.
   • Estimativas de precisão são ajustadas usando um limite inferior de Wilson para desconsiderar regras com baixo suporte (ex: uma regra correta 1/1 vez não é classificada acima de uma correta 95/100 vezes).
   • Uma passagem "leave-one-out" mede a contribuição marginal de cada regra para o F1 do ensemble, descartando regras que não prejudicam o desempenho quando removidas.

4. Modo de Observação:

   • Para cenários onde um LLM já lida com o tráfego de produção, o RuleChef pode iniciar o bootstrapping de regras sem rótulos manuais. Ele trata pares de entrada-saída do LLM como exemplos de treinamento, sintetizando regras periodicamente a partir dessas observações.
   • Um suporte para estratégia de implantação híbrida é oferecido: regras de alta confiança lidam com o tráfego, enquanto casos incertos são delegados de volta ao LLM.

Principais Contribuições

• Um Framework de Aprendizado Híbrido: Um sistema que sintetiza regras executáveis a partir de sinais de supervisão (exemplos, correções, feedback ou comportamento de modelo), separando estritamente o uso de LLM durante o aprendizado da execução determinística durante a inferência.
• Um Loop de Refinamento: Um processo iterativo que melhora sistemas de regras medindo mudanças em dados reservados, resolvendo conflitos via precisão e prevenindo a memorização através de critérios de aceitação rigorosos.
• Integração Human-in-the-Loop (HITL): A capacidade de especialistas de domínio revisarem regras e fornecerem feedback explícito, que é usado para instruir o LLM para atualizações direcionadas.
• Observação Não Supervisionada: Um modo que aprende regras a partir do comportamento de um modelo black-box externo, permitindo a descoberta de tarefas e geração de regras sem rotulagem humana inicial.
• Lançamento Open-Source: O framework é lançado sob uma licença Apache 2.0.

Resultados Experimentais

Os autores avaliaram o RuleChef em duas tarefas: Anonimização de Texto (TAB) para Reconhecimento de Entidades Nomeadas (NER) e Banking77 para classificação de intenção.

TAB (Reconhecimento de Entidades Nomeadas)

• Desempenho em Entidades Baseadas em Formato: Em tipos de entidades definidas por forma de superfície (ex: datas, números de caso, quantidades), as regras geradas pelo RuleChef superaram significativamente o prompting direto de LLM e as linhas de base GLiNER2 em F1 score, alcançando alta precisão (ex: 89,1% em entidades de formato).
• Desempenho em Entidades Semânticas: Em tipos semânticos (ex: Pessoa, Organização), a abordagem baseada em regras alcançou menor recall do que o prompting direto de LLM, mas manteve maior precisão do que as linhas de base GLiNER2. Os autores observam que este é um comportamento pretendido; regras de alta precisão formam uma base que pode ser expandida incrementalmente.
• Eficiência de Inferência: O RuleChef alcançou latências de inferência de aproximadamente 0,6 ms por documento, comparado a ~1500 ms para prompting de LLM e ~190 ms para GLiNER2.
• Comparação com Baselines Neurais: No conjunto de teste oficial de documento completo, as 22 regras aprendidas superaram um sistema NER RoBERTa pronto para uso em quase 30 pontos de precisão, embora tenham permanecido abaixo de um sistema Longformer ajustado (fine-tuned).

Banking77 (Classificação de Intenção)

• Few-Shot vs. Regras: Em uma tarefa de classificação de intenção de 5 vias, as regras aprendidas pelo RuleChef alcançaram precisão comparável ao prompting de LLM few-shot e baselines supervisionados (~97,6% vs. 98,0%), embora o recall tenha sido menor (61,0% vs. 98,0%), um trade-off típico para sistemas baseados em regras.
• Modo de Observação: Ao aprender a partir das saídas de um LLM externo sem rótulos de verdade fundamental (ground-truth), a precisão aumentou de 92,7% para 96,0% conforme o número de exemplos observados cresceu de 10 para 50. O recall melhorou de 19,0% para 49,5%. Os autores sugerem que tal sistema poderia servir como uma primeira camada transparente em uma arquitetura híbrida.

Ablação e Reparo

• Aprendizado Iterativo: Um prompt de geração de regra de etapa única (one-shot) foi quase inútil para tipos semânticos, mas eficaz para tipos de formato. O loop de refinamento iterativo, particularmente com a "aceitação de holdout", foi essencial para a generalização.
• Feedback Humano: Uma rodada de feedback humano corrigindo defeitos específicos de regras (ex: uma regra que correspondia a números de caso em formato de fração como quantidades) melhorou o F1 score para a classe "QUANTITY" de 5,7 para 35,6, demonstrando a responsividade do sistema à correção de especialistas.

Significância e Alegações

O artigo afirma que o RuleChef demonstra a viabilidade de gerar sistemas baseados em regras totalmente transparentes, inspecionáveis e editáveis que são competitivos com modelos neurais prontos para uso, particularmente para tarefas com padrões de superfície regulares.

Os autores enfatizam que, embora os resultados sejam preliminares, o framework oferece um caminho prático para:

1. Conformidade Regulatória: Fornecer previsões certificadas e rastreáveis em domínios de alto risco.
2. Redução de Custos: Reduzir drasticamente os custos de inferência ao substituir chamadas de LLM pela execução de regex.
3. Sistemas Híbridos: Servir como uma primeira camada de alta precisão em sistemas em cascata, reduzindo a carga sobre modelos caros de caixa preta.

O artigo reconhece limitações, incluindo a dependência de uma única família de LLM (Kimi-K2) para geração de regras, o não-determinismo inerente ao prompting iterativo e a necessidade de mais experimentação em diversos domínios e idiomas. Ele posiciona o RuleChef não como um substituto para modelos neurais em todos os contextos, mas como uma ferramenta especializada para cenários onde explicabilidade, auditabilidade e execução determinística são primordiais.