Resumo Técnico: Harness-IF

Definição do Problema

Os benchmarks de seguimento de instruções (IF) e as avaliações de agentes de codificação existentes sofrem de um desalinhamento fundamental na forma como medem a conformidade. Os benchmarks de IF tradicionais (ex: IFEval, FollowBench) concentram as regras dentro dos prompts do usuário, falhando em capturar a natureza multisuperfície dos agentes implantados. Por outro modo, os benchmarks de agentes de codificação (ex: SWE-bench) priorizam o sucesso final da tarefa, obscurecendo se um agente seguiu regras operacionais específicas ou se simplesmente chegou ao resultado correto através de um comportamento padrão.

Consequentemente, as métricas atuais não conseguem distinguir entre conformidade (seguir uma instrução específica) e coincidência (alcançar um resultado que por acaso se alinha com a instrução devido aos padrões não solicitados do modelo). Além disso, a "pilha de instruções" de um agente de codificação — composta por prompts de sistema, descrições de ferramentas, definições de habilidades, arquivos de projeto e instruções do usuário — carece de um framework de avaliação padronizado para determinar qual superfície tem precedência quando as regras conflitam ou como os agentes aderem às regras distribuídas por essas superfícies.

Metodologia

O Harness-IF introduz um benchmark projetado para medir o seguimento de instruções ao nível de regras individuais e superfícies de entrega. A metodologia é construída sobre três componentes principais:

1. Superfícies de Instrução e Relocação Controlada

O framework define seis superfícies de instrução:

• Harness Default (HD): Padrões inseridos pela plataforma.
• System Prompt (SP): Papel/comportamento definido pelo desenvolvedor.
• Tool Description (TD): Instruções de uso de ferramentas.
• Skill Description (SD): Regras de uso de habilidades.
• Project File (PF): Documentos de nível de repositório (ex: CLAUDE.md).
• User Instruction (UI): O pedido do usuário.

O Harness-IF emprega um design de relocação controlada onde o significado semântico de uma regra permanece fixo enquanto sua superfície de entrega é variada. Isso permite comparações pareadas de como um agente segue a mesma regra quando apresentada em diferentes contextos (ex: como um prompt de sistema vs. um arquivo de projeto).

2. Construção de Dados

• Biblioteca: Uma biblioteca curada de 642 restrições atômicas através de sete famílias (escrita profissional, controle de saída, estilo de código, fluxo de trabalho, limites quantitativos, lógica condicional, uso de ferramentas).
• Itens: 60 itens de codificação multiturnos realistas foram montados a partir desta biblioteca. Cada item injeta 25–35 regras, instanciadas através das cinco superfícies configuráveis (SP, TD, SD, PF, UI).
• Execução: O benchmark foi executado em 12 modelos de fronteira durante 3 rodadas, gerando 2.160 execuções de avaliação.
• Vereditos: Em vez de um único sucesso/falha ao nível da tarefa, o sistema gera um veredito (passar, falhar ou não aplicável) para cada regra aplicável em cada execução, resultando em 256 regras distintas recebendo vereditos fundamentados na execução.

3. Métricas: Against-Prior Accuracy (AP-Acc)

Para separar a conformidade da coincidência, os autores introduzem a Against-Prior Accuracy (AP-Acc).

• Controle de Prior (Prior Control): As regras são rotuladas como "against-prior" se elas se opõem ao comportamento padrão observado e não solicitado do modelo. Isso é determinado via uma sonda de zero-injeção (reexecutar tarefas sem a regra para observar os padrões) e anotações curadas.
• Cálculo: A AP-Acc pontua apenas o subconjunto de regras rotuladas como opostas ao padrão.
• Comparação: Isso é contrastado com a Acurácia padrão (Acc), Acurácia Filtrada (F-Acc) e Acurácia Ponderada por Discriminação (DW-Acc).

Resultados Principais

1. O "Gap de Conformidade"

Em todos os 12 modelos avaliados, o desempenho em regras against-prior é consistentemente inferior à acurácia agregada.

• Acurácia Agregada: Varia de 72,1% a 85,9%.
• AP-Acc: Varia de 66,1% a 78,6%.
• O Gap: Cada modelo performa pior em regras against-prior por 3,6 a 7,4 pontos percentuais (gap médio: 5,81).
• Implicação: Os scores agregados superestimam sistematicamente a conformidade. O grau de superestimação varia conforme o modelo (uma dispersão de duas vezes), significando que o controle de prior pode alterar o ranking dos modelos (trocando três pares de classificação adjacentes), mesmo que o modelo topo permaneça inalterado.

2. Assinaturas de Falha

• Ação vs. Inação: As falhas são fortemente inclinadas para regras de insuficiência (shortfall rules) (omissões de comportamento demandado), que representam 77,1% das falhas. Regras de "excesso" (ações proibidas) representam apenas 20,8%.
• Dificuldade por Modalidade: Regras de Comando (exigir/proibir) são as mais difíceis (76,0% de acurácia), enquanto regras de Preferência são as mais fáceis (90,6%).
• Dificuldade por Família: Controle de saída é a família mais difícil (70,9% de acurácia), seguida por fluxo de trabalho e estilo de código.

3. Precedência de Superfície de Instrução (E0 Pilot)

Um piloto de conflito controlado (E0) testou qual superfície de instrução prevalece quando as regras conflitam.

• Achado: A precedência não segue a simples "profundidade do prompt" (ou seja, a instrução do usuário sendo a última não garante que ela vença).
• Hierarquia: Prompts de sistema (SP), arquivos de projeto (PF) e instruções do usuário (UI) empataram com a maior precedência. Descrições de ferramentas (TD) e descrições de habilidades (SD) foram significativamente menores.
• Estabilidade: Esta ordenação foi robusta através de reamostragem bootstrap e variações de modelos, sugerindo uma tendência agrupada em vez de uma hierarquia universal.

Significância e Alegações

O Harness-IF afirma fornecer o primeiro framework unificado para medir o seguimento de instruções operacional em agentes de codificação ao nível de regra. Suas principais contribuições são:

1. Medição ao Nível de Regra: Ele desloca a unidade de avaliação do "sucesso da tarefa" para a "conformidade da regra", permitindo a detecção de falhas específicas que os scores agregados obscurecem.
2. Desacoplamento da Conformidade da Coincidência: Ao introduzir a AP-Acc, o benchmark isola o verdadeiro seguimento de instruções do comportamento que meramente se alinha aos padrões do modelo. O artigo argumenta que, sem este controle, os scores dos benchmarks são inflados por uma margem específica do modelo.
3. Avaliação Consciente da Superfície: Ele demonstra que a superfície de entrega da instrução importa. O framework revela que os agentes não tratam todas as instruções igualmente e que a "pilha de instruções" possui uma estrutura de precedência não trivial que difere de uma simples ordenação de prompt.
4. Granularidade Diagnóstica: O benchmark expõe assinaturas de falha distintas entre famílias de regras (ex: controle de saída é um ponto de falha primário) e modalidades, oferecendo insights acionáveis para melhorar a confiabilidade do agente.

Os autores concluem que a avaliação de agentes de codificação deve tratar o seguimento de instruções como um objeto de nível de execução, preservando a proveniência da regra e separando o comportamento contra-prior do sucesso agregado para avaliar com precisão as capacidades do agente.